基于LZ4算法的实时压缩处理器的设计

1

作者 赵瑜婕 李杰 +2 位作者 张德彪 冯凯强 张春兴 《火炮发射与控制学报》 北大核心 2025年第3期76-81,共6页

目前,由于导弹系统的不断发展,导致飞行过程中所要记录的数据越来越多,为满足弹载记录仪的数据存储要求,现针对弹载记录仪的数据压缩展开研究。通过对LZ4压缩算法的数据帧格式以及匹配方式进行改进,再利用FPGA并行处理数据的特点设计并... 目前,由于导弹系统的不断发展,导致飞行过程中所要记录的数据越来越多,为满足弹载记录仪的数据存储要求,现针对弹载记录仪的数据压缩展开研究。通过对LZ4压缩算法的数据帧格式以及匹配方式进行改进,再利用FPGA并行处理数据的特点设计并行化实时压缩处理器。该压缩处理器在FPGA上搭建,无需额外的数据缓存芯片,保证弹载记录仪轻量化的需求。实验结果表明,该处理器接收、处理数据位宽为8 bit,在200 MHz的工作频率下,能够实现1.60 Gbit/s的数据吞吐量,平均压缩比达到了1.82,可以有效实现弹载记录仪的实时压缩,为导弹后续的评估、分析和改进提供可靠的保障。 展开更多

关键词 弹载记录仪 FPGA lz4压缩算法 并行化实时压缩

在线阅读 下载PDF 职称材料

一种基于LZSS的文本文件压缩算法 被引量：9

2

作者 何丹 李志蜀 《计算机应用》 CSCD 北大核心 2008年第9期2335-2337,2340,共4页

在LZSS算法的基础上,提出了一种更加适合压缩文本文件的新压缩算法。这种算法通过一个缓存机构自动收录高频短语,不但能让压缩及解压的过程耗时更短,而且压缩比大幅度提高。新算法与LZSS算法的对比测试数据证明了新算法在文本文件压缩... 在LZSS算法的基础上,提出了一种更加适合压缩文本文件的新压缩算法。这种算法通过一个缓存机构自动收录高频短语,不但能让压缩及解压的过程耗时更短,而且压缩比大幅度提高。新算法与LZSS算法的对比测试数据证明了新算法在文本文件压缩应用中的性能明显优于LZSS算法。 展开更多

关键词 lz77算法 lzSS算法 无损压缩 短语 缓存 散列

在线阅读 下载PDF 职称材料

基于LZ77算法的藏文文本压缩算法设计与实现 被引量：1

3

作者 边巴旺堆 武强 +2 位作者 米玛加措 马元强 桑珠 《西藏大学学报（社会科学版）》 CSSCI 2010年第5期50-55,共6页

随着信息量的不断增加,用计算机处理的文本文件越来越大,需要对庞大的藏文文本进行数字化处理,如何节约资源对藏文文本进行高效压缩显得极为重要。项目在LZ77算法基础上结合藏文的特点和当前文本压缩的技术主流完成了关于藏文文本压缩... 随着信息量的不断增加,用计算机处理的文本文件越来越大,需要对庞大的藏文文本进行数字化处理,如何节约资源对藏文文本进行高效压缩显得极为重要。项目在LZ77算法基础上结合藏文的特点和当前文本压缩的技术主流完成了关于藏文文本压缩的设计和实现工作,按照藏文特点有效的提高了藏文文本压缩率。这种压缩算法是针对藏文特点的两个子算法和目前主流的LZ77压缩算法合成的。 展开更多

关键词 藏文 文本压缩 lz77算法

在线阅读 下载PDF 职称材料

自适应字典压缩算法中的误码传播分析 被引量：1

4

作者 李从鹤 郑辉 《电讯技术》 2005年第5期50-53,共4页

在分析LZ77算法编译码原理的基础上,讨论了输入误码对译码字典和解压数据的影响,研究了误码传播问题。指出这些工作为消除误码传播、保证数据完整性具有重要意义。

关键词 自适应字典 lz算法 数据压缩 误码传播

在线阅读 下载PDF 职称材料

一种用于文本压缩的信源容错译码算法 被引量：1

5

作者 李从鹤 郑辉 《无线电通信技术》 2006年第2期36-38,64,共4页

LZ算法在文本压缩领域应用广泛。LZ译码以先前接收码字的译码结果形成字典,后续译码依赖于先前的重构数据,一旦压缩码字出现误码将会引起严重的误码扩散。分析了主流的LZ77算法编译码原理,讨论了输入误码对译码字典和解压数据的影响,研... LZ算法在文本压缩领域应用广泛。LZ译码以先前接收码字的译码结果形成字典,后续译码依赖于先前的重构数据,一旦压缩码字出现误码将会引起严重的误码扩散。分析了主流的LZ77算法编译码原理,讨论了输入误码对译码字典和解压数据的影响,研究了误码传播问题。在此基础上提出一种用于文本压缩数据的容错译码算法,指出容错处理对抑制误码传播及保证LZ77解压数据的完整性具有重要意义。 展开更多

关键词 客错 lz算法 信源译码 误码传播

在线阅读 下载PDF 职称材料

关于Lempel－Ziv　77压缩算法及其实现的研究 被引量：19

6

作者 王忠效 姜丹 《计算机研究与发展》 EI CSCD 北大核心 1996年第5期329-340,共12页

本文在研究著名的ＬＺ７７压缩算法的基础上，讨论了对这一算法的种种改进。新的算法同样适用于任何类型的数据文件，而且无论是压缩速度还是压缩效率均好于ＬＺ７７算法。我们的算法所用到的工作缓冲区是一个循环缓冲区，不再包括一个... 本文在研究著名的ＬＺ７７压缩算法的基础上，讨论了对这一算法的种种改进。新的算法同样适用于任何类型的数据文件，而且无论是压缩速度还是压缩效率均好于ＬＺ７７算法。我们的算法所用到的工作缓冲区是一个循环缓冲区，不再包括一个输入符号超前缓冲区；结果，匹配过程是边接收输入边进行，无需等待一组输入数据填满超前缓冲区才开始，同时，最大匹配长度也不再受超前缓冲区大小的限制，而且，避免了大量的平移工作缓冲区的操作。另外，还涉及一些其他方面的改进，主要包括改等长压缩码为变长码和引入匹配位置滑动表技术等。本文详细讨论了各种改进及其对算法性能的影响。 展开更多

关键词 数据压缩 lz77压缩算法 计算机 算法

在线阅读 下载PDF 职称材料

通用简易中文文本压缩方法研究 被引量：1

7

作者 游荣彦 李吉桂 《华南师范大学学报（自然科学版）》 CAS 2001年第2期84-88,共5页

该文把GB2 312 - 80的汉字转换为从 0至 6767的短整型数 ,这些短整型数据有一个共同的存储特点 :它们的 2字节中的高 3位 (称为冗余位 )皆为 0 .删除冗余位而重组其余位即可形成压缩文本 .这种压缩方法显然是简单、快捷、容易实现和对GB... 该文把GB2 312 - 80的汉字转换为从 0至 6767的短整型数 ,这些短整型数据有一个共同的存储特点 :它们的 2字节中的高 3位 (称为冗余位 )皆为 0 .删除冗余位而重组其余位即可形成压缩文本 .这种压缩方法显然是简单、快捷、容易实现和对GB2 312 - 展开更多

关键词 文本压缩 lz算法 按位与运算 汉字数值化 短整型数据 冗余位 无损压缩

在线阅读 下载PDF 职称材料

基于动力电池海量数据的特性化压缩处理研究 被引量：4

8

作者 王瑞 张维戈 +1 位作者 张言茹 吕亚军 《电测与仪表》 北大核心 2020年第1期99-105,共7页

动力电池数据的后台存储和分析无论是对于动力电池故障预警、动力电池回收、溯源管理,还是为动力电池的后续价值评估,都提供了数据支撑。面向海量数据传输存储的发展需求,文章提出针对动力电池数据特性的处理压缩方法。将多种压缩算法... 动力电池数据的后台存储和分析无论是对于动力电池故障预警、动力电池回收、溯源管理,还是为动力电池的后续价值评估,都提供了数据支撑。面向海量数据传输存储的发展需求,文章提出针对动力电池数据特性的处理压缩方法。将多种压缩算法进行对比选择;针对动力电池的不同数据类型、不同运行场景进行多方面分析研究,给出相应的处理方法;最终经过对运行数据的处理压缩,实现数据传输、存储成本的有效降低。 展开更多

关键词 动力电池 数据处理 哈夫曼编码 lz77算法 BWT

在线阅读 下载PDF 职称材料

一种基于数据压缩的高效闪存转换层设计 被引量：1

9

作者 刘芳 刘志龙 +1 位作者 肖侬 刘必欣 《计算机研究与发展》 EI CSCD 北大核心 2011年第S1期317-321,共5页

针对闪存被擦写的次数有限的特性,基于LZ77压缩算法,采用一种基于单页压缩策略的地址映射方案,设计并实现了一个带有数据压缩功能的闪存转换层—FCTL.通过在数据写入/读出闪存之前先对数据进行压缩/解压,可以减少实际写入闪存的数据总量... 针对闪存被擦写的次数有限的特性,基于LZ77压缩算法,采用一种基于单页压缩策略的地址映射方案,设计并实现了一个带有数据压缩功能的闪存转换层—FCTL.通过在数据写入/读出闪存之前先对数据进行压缩/解压,可以减少实际写入闪存的数据总量,同时利用缓存降低读写延时.实验结果表明,采用FCTL可以有效减少实际写入和读出的数据总量,显著地增大写入带宽,闪存固态盘的读写延时均有较大改善,可用存储空间比实际容量可增加40%左右. 展开更多

关键词 数据压缩 闪存固态盘 lz77压缩算法 闪存转换层 FCTL

在线阅读 下载PDF 职称材料

磁盘数据压缩技术与典型软件的应用

10

作者 关永春 关一飞 《长沙水电师院学报（自然科学版）》 1998年第3期252-257,共6页

磁盘压缩技术是一种减少磁盘上数据存储开销的技术总称．使用磁盘压缩技术，可以在相同容量的磁盘上存储更多的数据．磁盘压缩软件并没有真正提高磁盘的物理容量，它只是减少了数据的容量．当用户将数据存储在磁盘上时，磁盘压缩软件在... 磁盘压缩技术是一种减少磁盘上数据存储开销的技术总称．使用磁盘压缩技术，可以在相同容量的磁盘上存储更多的数据．磁盘压缩软件并没有真正提高磁盘的物理容量，它只是减少了数据的容量．当用户将数据存储在磁盘上时，磁盘压缩软件在不丢失数据的前题下，对数据进行压缩，当用户访问磁盘数据时，压缩软件将压缩数据恢复到原来的状态．由于压缩软件常驻内存，它自动的与ＤＯＳ配合，使计算机的所有操作和过去一样． 展开更多

关键词 磁盘倍空技术 ART软件 lz算法

在线阅读 下载PDF 职称材料

一种基于FPGA加速的高性能数据解压方法 被引量：8

11

作者 刘谱光 魏子令 +1 位作者 黄成龙 陈曙晖 《计算机学报》 EI CAS CSCD 北大核心 2023年第12期2687-2704,共18页

在数据库、深度学习、高效存储等数据读取性能敏感的应用场景中,数据解压性能对上层应用的服务质量有着重要影响.LZ4无损数据压缩算法具备高速解压特性,因此被广泛应用在高速解压场景中,但其运行需要消耗大量CPU资源.为减少LZ4数据解压... 在数据库、深度学习、高效存储等数据读取性能敏感的应用场景中,数据解压性能对上层应用的服务质量有着重要影响.LZ4无损数据压缩算法具备高速解压特性,因此被广泛应用在高速解压场景中,但其运行需要消耗大量CPU资源.为减少LZ4数据解压开销,学界和业界提出了基于FPGA的LZ4数据解压加速方法.但现有方法大多采用逐字节顺序处理的计算模式,导致并行度和吞吐率存在较大不足.因此,设计实现高性能LZ4数据解压加速方法成为当前研究亟需解决的关键问题.以LZ4解压的高性能加速为目标,本文研究从多层次对LZ4解压进行并行加速设计,提出了一种基于FPGA加速的高性能LZ4数据解压方法.首先,本方法研究对LZ4序列解析过程进行并行化改进,设计实现了一个基于多字段并行解析方法的并行化序列解析器,将吞吐率从每周期单字节扩展到每周期多字节.此外,本方法对序列解析器中的高时延长度字段解析逻辑进行优化改进,设计了基于二分法的最大匹配长度快速解析方法,显著减小序列解析器的关键路径时延,使得改进后的设计时钟频率比改进前提高了约21%.其次,基于并行化序列解析器,本方法设计实现了一个高性能数据解压引擎.该引擎将序列解析与数据还原过程进行解耦设计,对解压输出数据通路进行扩展,解决了解压过程中输入输出吞吐率不匹配的问题.最后,为进一步提高吞吐率性能,本方法提出了可扩展多引擎数据解压加速器设计,并实现了一个基于CPU-FPGA架构的异构端到端数据解压加速系统原型.实验分析表明,本方法提出的数据解压引擎的每周期吞吐量是现有研究的4.1~6.8倍.该引擎实现了约1.7 GB/s的解压吞吐率,达到现有研究的2.6~6.6倍.系统原型的端到端测试和资源使用评估结果表明,本方法提出的数据解压加速系统在吞吐率和资源使用方面具备良好的可扩展性.在功耗效率方面,集成8引擎的解压加速系统原型的功效比是软件加速方法的1.6倍以上. 展开更多

关键词 数据解压加速 并行化设计 现场可编程门阵列(FPGA) lz4算法

在线阅读 下载PDF 职称材料