中文文本压缩的LZW算法 被引量：9

1

作者 陈庆辉 陈小松 韩德良 《计算机工程与应用》 CSCD 2014年第3期112-116,共5页

结合中文文本中的汉字编码方式、大字符集以及重复字串不长三个不同于英文文本的结构特点对LZW算法从读取数据方式、基本码集和字典码值输出方式三方面进行了修改。改进后的算法对中文文本的压缩比平均比LZW19提高了19%且压缩和解压速... 结合中文文本中的汉字编码方式、大字符集以及重复字串不长三个不同于英文文本的结构特点对LZW算法从读取数据方式、基本码集和字典码值输出方式三方面进行了修改。改进后的算法对中文文本的压缩比平均比LZW19提高了19%且压缩和解压速度与后者相当,其对较长的中文文本的平均压缩比已接近或者超过了压缩软件WinRAR。 展开更多

关键词 中文文本 数据压缩 压缩算法 编码 lzw

在线阅读 下载PDF 职称材料

LZW算法的优化及其在FPGA上的实现 被引量：8

2

作者 王孔华 李若仲 +1 位作者 丁浩 陈灿 《空军工程大学学报（自然科学版）》 CSCD 北大核心 2015年第3期41-44,共4页

针对目前在高速数据采集系统的大容量存储和无损传输过程中,存在硬件难以有效进行数据处理而软件实时性不足的缺点,采用并优化了LZW数据压缩算法,并将该算法在FPGA上进行了实现。在分析LZW基本算法的基础上,给出了3个方面的优化计算方法... 针对目前在高速数据采集系统的大容量存储和无损传输过程中,存在硬件难以有效进行数据处理而软件实时性不足的缺点,采用并优化了LZW数据压缩算法,并将该算法在FPGA上进行了实现。在分析LZW基本算法的基础上,给出了3个方面的优化计算方法,并进行了仿真验证。实验结果表明:优化后的LZW算法有效的提高了数据压缩的执行速度和压缩效果,验证了设计的正确性,提高了存储和传输效率。 展开更多

关键词 数据处理 lzw 无损压缩 算法优化 FPGA

在线阅读 下载PDF 职称材料

基于BWT改进的LZW算法在传感器网络中的应用 被引量：6

3

作者 邓宏贵 王晋秀 +2 位作者 曹莉凌 朱芝靖 陈良款 《传感技术学报》 CAS CSCD 北大核心 2008年第6期1047-1051,共5页

传感器网络能量有限,网内数据不易直接传输,需要进行压缩。针对有损数据压缩的局限性,基于数据分块和BWT变换思想,提出了一种改进的无损数据压缩算法-B-LZW,保证了数据的完整性。通过信息熵理论分析及实验仿真,比较了B-LZW算法与传统的... 传感器网络能量有限,网内数据不易直接传输,需要进行压缩。针对有损数据压缩的局限性,基于数据分块和BWT变换思想,提出了一种改进的无损数据压缩算法-B-LZW,保证了数据的完整性。通过信息熵理论分析及实验仿真,比较了B-LZW算法与传统的LZW算法的性能。结果表明,在对实时性要求不高的传感器网络应用中,该算法能更有效地减轻网络节点存储负担,降低数据丢包率,提高压缩率2.75%～3%,节约网络能量,进一步延长网络寿命。 展开更多

关键词 无线传感器网络 BWT B-lzw算法 数据压缩

在线阅读 下载PDF 职称材料

中文文本压缩的LZW算法 被引量：7

4

作者 徐秉铮 吴立忠 Victor K.Wei 《华南理工大学学报（自然科学版）》 EI CAS CSCD 1989年第3期1-9,共9页

本文报告两个关于中文信息处理研究的结果:(1)采用Cover的方法,猜估中文信息熵,实验表明,中文信良熵不大于4.1bits/字。(2)根据中文的结构特性,选择Welch型的Lemple-Ziv数据压缩算法,把它移植、扩展于中文文本压缩上。应用该算法于不同... 本文报告两个关于中文信息处理研究的结果:(1)采用Cover的方法,猜估中文信息熵,实验表明,中文信良熵不大于4.1bits/字。(2)根据中文的结构特性,选择Welch型的Lemple-Ziv数据压缩算法,把它移植、扩展于中文文本压缩上。应用该算法于不同类型的中文文本,本文获得一些中文文本压缩实际性能值。 展开更多

关键词 数据压缩 中文 文本 lzw算法 熵

在线阅读 下载PDF 职称材料

基于LZW的RFID标签数据压缩算法 被引量：2

5

作者 霍华 李秀芝 马林 《计算机工程》 CAS CSCD 北大核心 2010年第20期235-237,共3页

针对射频标签(RFID)标签存储空间不大但数据重复性较高的问题,提出一种改进的基于LZW的RFID标签数据压缩算法,采用多叉树存储结构以提高数据压缩速度,改进阈值判断操作方法以避免浪费存储空间。实验结果表明,与其他算法相比,改进算法在... 针对射频标签(RFID)标签存储空间不大但数据重复性较高的问题,提出一种改进的基于LZW的RFID标签数据压缩算法,采用多叉树存储结构以提高数据压缩速度,改进阈值判断操作方法以避免浪费存储空间。实验结果表明,与其他算法相比,改进算法在压缩时间与压缩效率上具有较大优势。 展开更多

关键词 射频标签 数据压缩 lzw算法 编码

在线阅读 下载PDF 职称材料

利用FPGA实现LZW算法的研究 被引量：7

6

作者 李雷定 马铁华 《电子测量技术》 2008年第10期170-172,194,共4页

LZW算法是一种基于字典模型的数据无损压缩算法,该算法具有自适应特点,解压时无需同时传送字典,且原理简单,较适合于硬件实现。本文根据LZW算法原理,利用FPGA芯片内部的RAM资源构成输入数据流的缓存器和字典存储器,结合较简单的字典管... LZW算法是一种基于字典模型的数据无损压缩算法,该算法具有自适应特点,解压时无需同时传送字典,且原理简单,较适合于硬件实现。本文根据LZW算法原理,利用FPGA芯片内部的RAM资源构成输入数据流的缓存器和字典存储器,结合较简单的字典管理策略,用单片FPGA实现了实时无损压缩算法,并给出其内部模块组成及工作流程。经过仿真及相关实验,结果表明该算法的FPGA实现能获得较好的压缩比和压缩速度,并且占用逻辑资源少,通用性好。 展开更多

关键词 数据压缩 lzw算法 FPGA

在线阅读 下载PDF 职称材料

中西文文本压缩的LZWCH算法 被引量：7

7

作者 华强 《计算机工程与应用》 CSCD 北大核心 1999年第3期22-23,35,共3页

该文根据中文文本的特征对ＬＺＷ算法从哈希函数、基本码集和更新策略三方面进行修改，得到的ＬＺＷＣＨ算法对以中文为主的中西混合文本的压缩比平均比ＬＺＷ算法高出约１６％，压缩和扩展速度也提高约４％，其可执行程序的大小亦与Ｌ... 该文根据中文文本的特征对ＬＺＷ算法从哈希函数、基本码集和更新策略三方面进行修改，得到的ＬＺＷＣＨ算法对以中文为主的中西混合文本的压缩比平均比ＬＺＷ算法高出约１６％，压缩和扩展速度也提高约４％，其可执行程序的大小亦与ＬＺＷ相当。ＬＺＷＣＨ无须任何预处理，并可用于压缩其它非拼音文字文本文件。 展开更多

关键词 数据压缩 lzwCH算法 文本压缩 汉字信息处理

在线阅读 下载PDF 职称材料

数据通讯中LZW算法的应用研究 被引量：7

8

作者 金卫民 《计算机工程与科学》 CSCD 2004年第5期46-48,共3页

串行通讯是计算机常用的通讯手段之一 ,但其通讯速率较低。为提高数据传输的实时响应速度 ,可采用数据压缩算法 ,无损数据压缩技术LZW算法就是较好的算法之一。本文把这种算法应用于无线数据通讯 。

关键词 无线数据通讯 无损数据压缩技术 lzw算法 数据压缩算法 计算机监控系统 数据传输

在线阅读 下载PDF 职称材料

LZW改进压缩算法的FPGA实现 被引量：3

9

作者 赵双龙 郝永生 《现代电子技术》 2011年第3期110-111,114,共3页

随着实时监控系统的发展,大容量高速数据采集与传输技术不断取得新的进展,针对当前数据传输采用硬件实现速度快,但难以进行数据处理,而软件能实现很多算法但处理速度稍显逊色的不足,采用了LZW压缩算法及其改进算法,并将该算法在可编程... 随着实时监控系统的发展,大容量高速数据采集与传输技术不断取得新的进展,针对当前数据传输采用硬件实现速度快,但难以进行数据处理,而软件能实现很多算法但处理速度稍显逊色的不足,采用了LZW压缩算法及其改进算法,并将该算法在可编程逻辑器件FPGA上进行了实现,通过仿真,验证了设计的正确性,提高了数据传输速度。 展开更多

关键词 数据处理 无损压缩 lzw 压缩算法 FPGA

在线阅读 下载PDF 职称材料

面向无线传感网络应用的改进LZW算法 被引量：5

10

作者 倪晓军 佘戌豪 《计算机科学》 CSCD 北大核心 2020年第5期260-264,共5页

在无线传感网络通信中,传感器数据需要通过无线设备发送给上位机。随着终端传感器传输数据量的增大,无线设备的发送能耗逐渐加大。在不便于及时维护的复杂环境中,这将导致无线通讯设备过早失效从而使得通讯中断。因此需要先将传感器采... 在无线传感网络通信中,传感器数据需要通过无线设备发送给上位机。随着终端传感器传输数据量的增大,无线设备的发送能耗逐渐加大。在不便于及时维护的复杂环境中,这将导致无线通讯设备过早失效从而使得通讯中断。因此需要先将传感器采集到的数据进行压缩,减小发送数据量。在分析传感器数据特点和传统的LZW(Lempel-Ziv-Welch)压缩算法的基础上,提出了一种面向无线传感网络应用的改进LZW算法。该算法首先对采集到的传感器相邻数据进行差值预处理,以提高数据项的重复率;然后选择大小合适的字典,在字典上用哈希存储的方式代替传统的顺序存储,以改进字典更新方式,当检测到压缩率降低时更新字典,并保存常用单字符,释放字典空间,达到数据压缩的目的。实验数据显示,与传统的LZW算法相比,改进的LZW算法使得有序传感器数据的压缩率最高降低40%,减小了所需发送数据的数据量,压缩速度也提高了近10倍,证明了面向无线传感网络应用的改进LZW算法是有效可行的。 展开更多

关键词 无线传感网络 压缩算法 lzw算法 数据预处理 压缩率

在线阅读 下载PDF 职称材料

在文本压缩中联合使用LZSS和LZW 被引量：3

11

作者 华强 《计算机应用与软件》 CSCD 北大核心 2002年第1期60-62,共3页

本文分析了LZ77和LZ78算法在文本压缩中各自的长处和不足,以它们的实用算法LZSS和LZW的中文文本改进算法LZSSCH和LZWCH为基础,设计了联合使用LZ77和LZ78原理的LZSWCH算法。算法具有良好的通用性、实时性,对9个各种长度的样本文本文件取... 本文分析了LZ77和LZ78算法在文本压缩中各自的长处和不足,以它们的实用算法LZSS和LZW的中文文本改进算法LZSSCH和LZWCH为基础,设计了联合使用LZ77和LZ78原理的LZSWCH算法。算法具有良好的通用性、实时性,对9个各种长度的样本文本文件取得的压缩比均高于LZSS和LZW,高出幅度分别达到6～19％。算法无须任何预处理,并可用于压缩其它文字的文本文件。 展开更多

关键词 数据压缩 LZSS lzw 文本压缩 数据结构

在线阅读 下载PDF 职称材料

用于雷达数据实时传输的LZW算法优化 被引量：6

12

作者 宋洪良 唐小明 +1 位作者 张涛 刘明春 《雷达科学与技术》 北大核心 2016年第4期397-402,共6页

雷达数据压缩在数据实时传输过程中起着重要的作用,压缩算法的好坏直接影响到传输的效率。基于对导航雷达实际数据的分析,以及对LZW字典查询压缩算法的理解,对实际数据进行相关性的预处理,并在基本算法功能的基础上,提出一种改进的空间... 雷达数据压缩在数据实时传输过程中起着重要的作用,压缩算法的好坏直接影响到传输的效率。基于对导航雷达实际数据的分析,以及对LZW字典查询压缩算法的理解,对实际数据进行相关性的预处理,并在基本算法功能的基础上,提出一种改进的空间换时间的字典查询方法,在提高压缩比的同时大大提高压缩速度,并与其他算法以及WinRAR软件进行结果对比。利用实际数据进行验证,完成了数据的实时采集、压缩,实现了数据实时传输,通过雷达图像的实时显示对传输效果进行验证,达到了预期目的,取得了很好的效果。 展开更多

关键词 雷达数据压缩 相关预处理 lzw压缩算法 空间换时间

在线阅读 下载PDF 职称材料

基于LZW的海底声学探测数据压缩方法研究 被引量：5

13

作者 晋松 裴彦良 +2 位作者 阚光明 吴爱平 付青青 《海洋科学》 CAS 北大核心 2019年第4期36-45,共10页

针对海底声学探测仪器采集数据量大而存储容量有限、数据传输带宽不足的实际问题,基于Lempel-Ziv-Welch(LZW)无损压缩算法,研究海底声学探测数据的实时压缩方法,提高数据压缩效果、节省传输带宽。并在LZW无损压缩算法的基础上结合数据... 针对海底声学探测仪器采集数据量大而存储容量有限、数据传输带宽不足的实际问题,基于Lempel-Ziv-Welch(LZW)无损压缩算法,研究海底声学探测数据的实时压缩方法,提高数据压缩效果、节省传输带宽。并在LZW无损压缩算法的基础上结合数据存储的特点对压缩结果进行内存重新分配,极大提高压缩比(压缩数据大小/原始数据大小)。利用海底地震仪(OBS)采集的原始声学探测数据进行测试验证,结果表明该方法对于OBS声学探测数据有很好的压缩比,可用于对OBS采集的声学探测数据进行压缩处理,对于海底探测仪器的研发有很好的指导意义。 展开更多

关键词 Lempel-Ziv-Welch(lzw)无损压缩算法 无损压缩 海底地震仪 海底声学探测数据

在线阅读 下载PDF 职称材料

基于SQL数据库的过程数据压缩方法 被引量：18

14

作者 赵利强 于涛 王建林 《计算机工程》 CAS CSCD 北大核心 2008年第14期58-59,62,共3页

利用SQLServer数据库存储过程历史数据,提出一种增量型的SDT压缩算法,有效地实现了过程历史数据的实时存储。对于通过OPC方式从化工过程底层读取的实时数据,利用增量型的SDT算法进行实时压缩存储,利用LZW算法对存储的值进行二次无损压... 利用SQLServer数据库存储过程历史数据,提出一种增量型的SDT压缩算法,有效地实现了过程历史数据的实时存储。对于通过OPC方式从化工过程底层读取的实时数据,利用增量型的SDT算法进行实时压缩存储,利用LZW算法对存储的值进行二次无损压缩。实验测试表明,该方法能够实时处理大量的过程数据,同时尽最大可能对过程数据进行压缩,降低存储成本。在容差为1%、测点为1000个时,该算法使平均压缩率达到约85%。 展开更多

关键词 过程数据压缩 增量型SDT算法 lzw算法

在线阅读 下载PDF 职称材料

数据通信中文本文件无损压缩算法的实现 被引量：6

15

作者 袁占亭 张秋余 +1 位作者 冯涛 田思 《计算机工程与应用》 CSCD 北大核心 2001年第9期44-46,共3页

针对目前人们对数据通信的需求日益增加，由于种种原因，数据通信的速率还不够高，数据通信的低速率已经成为数据通信系统的瓶颈。在“短波单边带微机信息传输系统”中，作者利用基于字典的ＬＺＷ无损压缩算法（对象是文本文件），实现... 针对目前人们对数据通信的需求日益增加，由于种种原因，数据通信的速率还不够高，数据通信的低速率已经成为数据通信系统的瓶颈。在“短波单边带微机信息传输系统”中，作者利用基于字典的ＬＺＷ无损压缩算法（对象是文本文件），实现了用软件的方法将通信速率提高了大于３００％的实际效果。编程语言采用ＶＣ＋＋，并制作成．ＤＬＬ文件。 展开更多

关键词 数据通信 lzw 无损压缩 文本文件 字典 算法

在线阅读 下载PDF 职称材料

基于文本挖掘技术探索中医治疗胆结石药证对应规律研究 被引量：16

16

作者 李立 蔡峰 +2 位作者 梁非 郑光 吕爱平 《辽宁中医杂志》 CAS 2013年第4期664-666,共3页

目的:采用文本挖掘方法,探索中医药治疗胆结石药证对应规律。方法:在CBM数据库中收集中医药治疗胆结石文献数据,采用基于敏感关键词频数统计的数据分层算法,挖掘胆结石的证候及治疗胆结石的中药。结合人工降噪及数据清洗后,通过一维频... 目的:采用文本挖掘方法,探索中医药治疗胆结石药证对应规律。方法:在CBM数据库中收集中医药治疗胆结石文献数据,采用基于敏感关键词频数统计的数据分层算法,挖掘胆结石的证候及治疗胆结石的中药。结合人工降噪及数据清洗后,通过一维频次表及二维的网络图分析中医药治疗胆结石药证规律。结果:胆结石肝胆湿热、肝郁气滞为最主要证候,肝郁脾虚及气滞血瘀为常见证型。柴胡、大黄、金钱草、茵陈、鸡内金为治疗胆结石的核心药物,且与其他药物联用的频数也最高。定向挖掘结果显示治疗胆结石肝胆湿热证的药物与胆结石常用药物基本一致。结论:利用文本挖掘技术,可以从海量的文献中发现治疗胆结石的中医证、药的规律,为中医药规范化及中药组方研究,提供有益的方法学探索和参考。 展开更多

关键词 文本挖掘 数据分层算法 胆结石 证候 中药

在线阅读 下载PDF 职称材料

基于FPGA的数据采集与压缩系统 被引量：5

17

作者 刘成明 李新娥 张艳兵 《仪表技术与传感器》 CSCD 北大核心 2012年第1期36-39,共4页

针对某些特殊的测试试验,既要求测试系统微体积、低功耗,还要求记录大量数据的问题,提出基于FPGA的数据压缩解决方案。介绍了LZW压缩算法的基本理论及其用FPGA硬件实现的方法。数据采集部分用FPGA实现对模数转换器的控制、负延迟技术和... 针对某些特殊的测试试验,既要求测试系统微体积、低功耗,还要求记录大量数据的问题,提出基于FPGA的数据压缩解决方案。介绍了LZW压缩算法的基本理论及其用FPGA硬件实现的方法。数据采集部分用FPGA实现对模数转换器的控制、负延迟技术和内外触发可编程控制技术。大量的实验表明,系统工作稳定、压缩速度快(8MByte/s以上)、对实测数据的压缩效果好(25%左右)、工作时电流小(37 mA),实现了速度、性能、功耗三者的统一。 展开更多

关键词 FPGA 数据采集 数据压缩 lzw算法

在线阅读 下载PDF 职称材料

一种适合于传感器网络的新型压缩算法研究 被引量：2

18

作者 邓宏贵 王晋秀 +2 位作者 曹莉凌 朱芝靖 欧阳志 《传感器与微系统》 CSCD 北大核心 2008年第11期60-62,65,共4页

数据压缩可以高效节约网络能量,有效延长网络寿命。针对B-LZW算法的缺陷,提出了一种新型的可以直接应用于传感器网络的改进算法—MC-B-LZW;在设计中引入了miniCache,完善了算法的操作性,可使该算法嵌入到现有的各类传感节点中;测试B-LZ... 数据压缩可以高效节约网络能量,有效延长网络寿命。针对B-LZW算法的缺陷,提出了一种新型的可以直接应用于传感器网络的改进算法—MC-B-LZW;在设计中引入了miniCache,完善了算法的操作性,可使该算法嵌入到现有的各类传感节点中;测试B-LZW及其改进算法MC8,MC16,MC32和MC64的性能;通过比较压缩率和执行时间2个指标,得出结论:MC16算法性能最优,压缩率较B-LZW平均提高13.6%,执行时间较B-LZW几乎没有延长,是一种比较理想的压缩算法。 展开更多

关键词 传感器网络 数据压缩 lzw算法 BWT算法

在线阅读 下载PDF 职称材料

远程故障诊断终端的数据压缩技术研究与实现 被引量：7

19

作者 胡平 张金钟 《计算机工程与应用》 CSCD 2012年第34期130-135,共6页

为了解决挖掘机远程故障诊断系统终端因采集到的数据量巨大,而无法实时有效地传输到远程故障诊断中心的问题,研究了各种无损数据压缩方法。结合硬件资源的特点,应用Hash查找字典的方法对LZW压缩算法进行了改进,提高了数据压缩的速度,并... 为了解决挖掘机远程故障诊断系统终端因采集到的数据量巨大,而无法实时有效地传输到远程故障诊断中心的问题,研究了各种无损数据压缩方法。结合硬件资源的特点,应用Hash查找字典的方法对LZW压缩算法进行了改进,提高了数据压缩的速度,并且在FPGA上实现。仿真表明,在压缩率几乎相等的情况下,硬件实现比软件实现在压缩速度上得到了极大提高,从而使故障诊断的实时性得到了保证。 展开更多

关键词 故障诊断 数据压缩 lzw算法 现场可编程门阵列(FPGA)

在线阅读 下载PDF 职称材料

管道漏磁检测数据压缩技术 被引量：3

20

作者 杨理践 张双楠 高松巍 《沈阳工业大学学报》 EI CAS 2010年第4期395-399,共5页

漏磁检测系统属于海量数据采集系统,针对该系统中电子硬盘存储数据量较少的问题,利用LZW算法和Hash表理论,提出了一种漏磁检测数据实时无损压缩算法.采用LZW算法对漏磁检测数据进行无损压缩,并根据Hash表管理LZW算法的字符串表,设计了基... 漏磁检测系统属于海量数据采集系统,针对该系统中电子硬盘存储数据量较少的问题,利用LZW算法和Hash表理论,提出了一种漏磁检测数据实时无损压缩算法.采用LZW算法对漏磁检测数据进行无损压缩,并根据Hash表管理LZW算法的字符串表,设计了基于ARM处理器为核心器件并嵌入Linux操作系统的硬件系统对算法进行实现.实验结果表明,该系统实现了漏磁检测数据采集、压缩和存储的全过程,得到了2倍以上的实时数据压缩结果. 展开更多

关键词 嵌入式系统 ARM处理器 LINUX操作系统 lzw压缩算法 数据采集 漏磁检测 管道缺陷 数据压缩

在线阅读 下载PDF 职称材料