用于空间数据系统的无损数据压缩技术 被引量：4

1

作者 李维忠 贾小铁 徐志立 《计算机科学》 CSCD 北大核心 2003年第11期122-124,共3页

1.引言 在航天科技领域中,由航天器获得的有关图像或非图像的科学数据有必要经过压缩处理后再予以传输.国际空间数据系统咨询委员会(CCSDS)认为这种必要性至少体现在三个方面:节俭传输信道的带宽;降低缓冲及存储设备的需求;以及缩短在... 1.引言 在航天科技领域中,由航天器获得的有关图像或非图像的科学数据有必要经过压缩处理后再予以传输.国际空间数据系统咨询委员会(CCSDS)认为这种必要性至少体现在三个方面:节俭传输信道的带宽;降低缓冲及存储设备的需求;以及缩短在给定速率下的传输时间. 展开更多

关键词 空间数据系统 无损数据压缩技术 带宽 传输时间 HUFFMAN编码 算术编码 信源编码原理 图像数据

在线阅读 下载PDF 职称材料

智能配电网监测系统的无损数据压缩方案 被引量：6

2

作者 陈赟 王宇雷 《广东电力》 2021年第5期90-98,共9页

为提高电力系统数据压缩方法的实时性和适应性,提出一种适用于智能配电网监测系统的无损数据压缩方案,该方案通过对当前监测数据的取值进行预测,计算实际值与预测值的残差,并对残差值进行改进的行程编码与霍夫曼编码,实现对智能配电网... 为提高电力系统数据压缩方法的实时性和适应性,提出一种适用于智能配电网监测系统的无损数据压缩方案,该方案通过对当前监测数据的取值进行预测,计算实际值与预测值的残差,并对残差值进行改进的行程编码与霍夫曼编码,实现对智能配电网监测数据的无损压缩。预测方法采用基于2阶泰勒公式的预测法。通过对预测方法和压缩方案的分别仿真,证明所提预测方法和压缩方案各自的有效性。另外,所提的无损数据压缩方案无需添加时间窗,适用于对实时性要求较高的智能配电网监测系统。 展开更多

关键词 智能配电网 无损数据压缩 残差计算 预测方法 行程编码

在线阅读 下载PDF 职称材料

CCSDS无损数据压缩算法的实现与应用研究 被引量：8

3

作者 朱云华 王凤阳 +1 位作者 刘泳 董勇 《中国空间科学技术》 EI CSCD 北大核心 2008年第4期40-46,共7页

无损数据压缩是航天应用和遥感系统的重要业务之一。对CCSDS(空间数据系统咨询委员会)推荐的数据无损压缩标准进行了分析研究,讨论了其推荐算法的基本原理和编码方法,然后基于DSP(数字信号处理器)实现了该算法并对代码进行了优化。实验... 无损数据压缩是航天应用和遥感系统的重要业务之一。对CCSDS(空间数据系统咨询委员会)推荐的数据无损压缩标准进行了分析研究,讨论了其推荐算法的基本原理和编码方法,然后基于DSP(数字信号处理器)实现了该算法并对代码进行了优化。实验结果表明,DSP实现的CCSDS标准的无损数据压缩算法的数据处理速率可达11Mbit/s,可用于那些不需要很高数据吞吐率的星上数据处理任务。最后讨论了CCSDS无损数据压缩标准是如何融入CCSDS体制的星载数据系统中的。 展开更多

关键词 无损数据压缩 数字信号处理 国际标准 航天遥感

在线阅读 下载PDF 职称材料

测井数据的无损压缩方法研究 被引量：5

4

作者 汉泽西 郭枫 吕飞 《现代电子技术》 2004年第22期94-96,共3页

为了获得更精确信息 ,在石油测井中 ,原始数据量越来越大。因为数据传输带宽的限制和实时的要求 ,原始数据传输前的压缩处理渐渐成为必需。本文在分析测井数据特征的基础上 ,讨论了几种测井数据的压缩算法。

关键词 无损数据压缩 测井数据 石油 算法

在线阅读 下载PDF 职称材料

一种基于SCD文件的合并单元高速数据压缩方法 被引量：1

5

作者 陈星田 熊小伏 +1 位作者 白勇 胡海洋 《计算机科学》 CSCD 北大核心 2023年第12期123-129,共7页

在现代智能电网中,智能变电站安装了大量合并单元来同步发布电流互感器和电压互感器的暂态量,这些暂态数据有必要保存长达数年,从而覆盖设备生命周期,为设备状态维修、可靠性等研究提供原始信息支撑,但是如此长时与高频的海量数据给存... 在现代智能电网中,智能变电站安装了大量合并单元来同步发布电流互感器和电压互感器的暂态量,这些暂态数据有必要保存长达数年,从而覆盖设备生命周期,为设备状态维修、可靠性等研究提供原始信息支撑,但是如此长时与高频的海量数据给存储设备带来了巨大压力。文中首先将高频暂态数据分为固定不变的、状态变化的和周期变化的3种形式来进行预处理,将固定不变部分用SCD文件中的唯一标识代替,状态变化部分用事件记录文件代替,周期变化部分用SCD文件中双通道差量和周期差量来表示。然后使用16位哈夫曼完成最终压缩编码,并对比测试了各种预处理前后的压缩结果和不同编码的压缩结果。最终的测试结果表明该压缩方法比普通硬件压缩卡压缩比更大,压缩速率比普通压缩卡更快。 展开更多

关键词 合并单元采样值 无损数据压缩 哈夫曼编码 LZMA压缩算法 小波变换

在线阅读 下载PDF 职称材料

水声通信数据无损压缩方法的对比研究 被引量：3

6

作者 吴文强 《现代电子技术》 2012年第9期103-105,共3页

为了选择适合水声通信数据无损压缩的算法,对哈夫曼压缩算法和LZ77压缩算法进行了对比研究。通过C语言编程实现两种算法的压缩,并利用水声通信数据获得压缩结果。对两种算法的压缩率和压缩效率对比分析之后,得出结论:对于水声信号,使用... 为了选择适合水声通信数据无损压缩的算法,对哈夫曼压缩算法和LZ77压缩算法进行了对比研究。通过C语言编程实现两种算法的压缩,并利用水声通信数据获得压缩结果。对两种算法的压缩率和压缩效率对比分析之后,得出结论:对于水声信号,使用哈夫曼算法将获得更好的压缩率和压缩速率。尤其是哈夫曼算法的压缩速率远远优于LZ77算法。 展开更多

关键词 无损数据压缩 水声通信 哈夫曼算法 字典模型算法

在线阅读 下载PDF 职称材料

一种具有检错能力的数据压缩编码方法

7

作者 唐红 《电讯技术》 北大核心 2003年第1期101-105,共5页

本文介绍一种具有检错能力的算术数据压缩编码。它采用改进型的概率模型 ,将每一个信源符号的概率乘以 (1-ε) ,其中 0 <ε <1。在编码时 ,不使用减少的概率部分 ,因此 ,如果在数据传输过程中没有发生误码 ,解码运算将不会落到未... 本文介绍一种具有检错能力的算术数据压缩编码。它采用改进型的概率模型 ,将每一个信源符号的概率乘以 (1-ε) ,其中 0 <ε <1。在编码时 ,不使用减少的概率部分 ,因此 ,如果在数据传输过程中没有发生误码 ,解码运算将不会落到未使用的概率部分。然而 ,如果在数据传输过程中发生了误码 ,则该误码在经过n个符号的解码后被检测出来的概率为 [1- (1-ε) n]。这种编码方法主要有两个优点 ,一是编码后的冗余可以用ε非常方便地进行调节 ,二是当n趋于无穷时 ,误码检测概率趋于 1。计算机模拟结果显示 ,当ε =0 .5 ,即相当于平均每一信源符号的编码增加 1比特冗余时 ,误码在经过 10个符号的解码后被检测出来的概率为 99.9%。 展开更多

关键词 检错能力 算术压缩编码 无损数据压缩 信源编码 纠错能力

在线阅读 下载PDF 职称材料

低熵图像序列无损压缩 被引量：1

8

作者 汤颖 刘晓哲 张宏鑫 《计算机科学》 CSCD 北大核心 2014年第12期238-244,259,共8页

大规模的云渲染技术带来了大量的三维图形渲染数据。为了减小集群渲染产生的图像序列数据的传输以及存储代价,针对渲染图像序列低熵的特点,基于字典编码技术提出了降低数据局部复杂性的无损数据压缩方案。该方案通过数据重排技术来大大... 大规模的云渲染技术带来了大量的三维图形渲染数据。为了减小集群渲染产生的图像序列数据的传输以及存储代价,针对渲染图像序列低熵的特点,基于字典编码技术提出了降低数据局部复杂性的无损数据压缩方案。该方案通过数据重排技术来大大提高数据的局部冗余度,从而提高数据无损压缩效率。为了进一步解决大规模图像序列的压缩耗时问题,提出了一种云计算平台上的分布式图像压缩处理方案,充分利用现有云计算中Map/Reduce计算模型实现了分布式编码方案。实验结果证明,对于渲染产生的大规模低熵图像序列,提出的方案能够有效提高编码率并减少编码时间。 展开更多

关键词 LZ77压缩方法 图像序列 无损数据压缩 云计算

在线阅读 下载PDF 职称材料

CCSDS图像无损压缩标准在恒速信道中的应用研究 被引量：1

9

作者 姜宏旭 周孝宽 《中国空间科学技术》 EI CSCD 北大核心 2003年第5期33-38,56,共7页

在CCSDS建议的无损数据压缩的基本原理上 ,结合基于局域纹理特征的处理方法 ,给出数据输入输出在恒速信道条件下一种有效的面向空间应用的遥感图像无损压缩方案。该方案包括去相关处理、熵编码以及压缩缓存控制三部分。去相关操作是在... 在CCSDS建议的无损数据压缩的基本原理上 ,结合基于局域纹理特征的处理方法 ,给出数据输入输出在恒速信道条件下一种有效的面向空间应用的遥感图像无损压缩方案。该方案包括去相关处理、熵编码以及压缩缓存控制三部分。去相关操作是在局域纹理分析方法的基础上 ,通过提取两种有效的预测模型并自适应选择最佳的模型进行处理 ;然后采用快速有效的CCSDS熵编码器对最佳去相关模型的预测误差编码。在压缩方案中充分考虑了输入输出恒速信道条件下应用的特殊性 ,设计了相应的压缩码流控制方法 。 展开更多

关键词 图像编码 无损数据压缩 国际空间数据系统咨询委员会 信道编码 遥感数据

在线阅读 下载PDF 职称材料

利用无损压缩降低循环冗余校验的错误漏检率及其电路实现 被引量：2

10

作者 董刚 杨海钢 《电子与信息学报》 EI CSCD 北大核心 2010年第3期705-709,共5页

循环冗余校验(CRC)算法在很多领域都有广泛的应用。对于确定格式的CRC校验码生成多项式,其错误漏检率基本为确定值。因此待检数据的长度越大,出现错误而不会被检测到的机会也就越多。为了解决这方面存在的问题,该文利用无损压缩霍夫曼... 循环冗余校验(CRC)算法在很多领域都有广泛的应用。对于确定格式的CRC校验码生成多项式,其错误漏检率基本为确定值。因此待检数据的长度越大,出现错误而不会被检测到的机会也就越多。为了解决这方面存在的问题,该文利用无损压缩霍夫曼算法缩短待测数据的长度,从而降低了数据出错之后不能被检测到的概率。并设计出相应的可靠性校验电路。与单纯使用CRC校验的方法相比,该文提出的方法可以将出错的几率下降为原来的万分之一以下。设计得到的电路模块可以作为VLSI中的可靠性电路模块(IP)加以利用。 展开更多

关键词 可靠性电路 霍夫曼编码 CRC编码 无损数据压缩

在线阅读 下载PDF 职称材料

基于SDES和双轮差错控制的大数据集成安全系统

11

作者 宁光芳 《计算机应用与软件》 北大核心 2024年第1期310-314,共5页

针对大数据传输中的数据机密性、完整性和数据丢失等问题,提出一种基于简化数据加密标准(Simplified Data Encryption Standard,SDES)和双轮差错控制的大数据集成安全系统。使用SDES加密算法生成加密字符串,并设计意外数据丢失备份系统... 针对大数据传输中的数据机密性、完整性和数据丢失等问题,提出一种基于简化数据加密标准(Simplified Data Encryption Standard,SDES)和双轮差错控制的大数据集成安全系统。使用SDES加密算法生成加密字符串,并设计意外数据丢失备份系统以提高机密性和防止意外数据丢失。基于双轮差错控制以较低的空间开销控制传输过程中包含的任意数量的离散或连续错误位,基于固定长度编码(Fixed Length Coding,FLC)的无损压缩技术来减少数据开销。该算法具有较高的AE值、熵和压缩百分比,具有提供更高的数据机密性和完整性的潜力。 展开更多

关键词 大数据传输安全 简化数据加密标准 无损数据压缩 双轮异或运算控制传输错误

在线阅读 下载PDF 职称材料

基于GPU的Landsat8实时解压缩处理技术 被引量：2

12

作者 杨仁忠 张洁 +1 位作者 韦宏卫 石璐 《计算机工程》 CAS CSCD 北大核心 2016年第3期301-307,共7页

根据Landsat8卫星下行数据的特点,结合RICE无损数据压缩算法和CUDA编程技术,提出一种基于图像处理单元(GPU)的实时解压缩处理系统方案,采用统一计算设备架构和流水线式解压缩结构进行任务分解及CUDA优化。测试结果表明,与基于CPU的解压... 根据Landsat8卫星下行数据的特点,结合RICE无损数据压缩算法和CUDA编程技术,提出一种基于图像处理单元(GPU)的实时解压缩处理系统方案,采用统一计算设备架构和流水线式解压缩结构进行任务分解及CUDA优化。测试结果表明,与基于CPU的解压缩方案相比,基于GPU的解压缩系统获得7.45倍的加速比,能够达到Landsat8卫星下行数据实时解压缩处理速度要求的1.8倍以上,解压缩的图像数据正确率高且成本较低。 展开更多

关键词 无损数据压缩算法 实时解压缩 图形处理单元 卫星下行数据 并行计算

在线阅读 下载PDF 职称材料

应用于毫米波系统的FPGA实时压缩算法 被引量：3

13

作者 罗志伟 缪晨 +1 位作者 黄志强 吴文 《微波学报》 CSCD 北大核心 2023年第S01期314-317,共4页

现如今毫米波系统对数据实时传输和处理的要求越来越高,为了满足毫米波系统数据处理的实时性要求,本文针对LZ4算法的匹配方式与压缩数据帧进行了优化,并利用FPGA并行处理能力进一步提高了LZ4算法的压缩速率,保证了压缩算法传输数据的实... 现如今毫米波系统对数据实时传输和处理的要求越来越高,为了满足毫米波系统数据处理的实时性要求,本文针对LZ4算法的匹配方式与压缩数据帧进行了优化,并利用FPGA并行处理能力进一步提高了LZ4算法的压缩速率,保证了压缩算法传输数据的实时性,降低了压缩算法的延迟时间。优化后的压缩算法单通道压缩速率为199.2MBps,单通道的压缩速率相较于以往的压缩速率最快的LZ4算法提升约25.80%,使用多通道同时工作的数据压缩速率达到12.76Gbps。 展开更多

关键词 毫米波 实时压缩 无损数据压缩 压缩速率优化 FPGA

在线阅读 下载PDF 职称材料

数据通讯中LZW算法的应用研究 被引量：7

14

作者 金卫民 《计算机工程与科学》 CSCD 2004年第5期46-48,共3页

串行通讯是计算机常用的通讯手段之一 ,但其通讯速率较低。为提高数据传输的实时响应速度 ,可采用数据压缩算法 ,无损数据压缩技术LZW算法就是较好的算法之一。本文把这种算法应用于无线数据通讯 。

关键词 无线数据通讯 无损数据压缩技术 LZW算法 数据压缩算法 计算机监控系统 数据传输

在线阅读 下载PDF 职称材料