基于BWT,MTF和ANS的标签数据压缩算法

1

作者 廖睿 唐杰 +3 位作者 梁桐嘉 郑欣磊 王斌翊 齐志强 《计算机科学》 北大核心 2025年第S2期576-581,共6页

使用一些规则集可以将一些信息转换为特定的内容存储在一定长度的标签码中。当信息较多时,标签码的使用会更加困难。对标签码数据进行压缩,可以减少存储信息的开销且便于识别。为了实现对此类数据的压缩,本文基于BWT、MTF和ANS算法,形... 使用一些规则集可以将一些信息转换为特定的内容存储在一定长度的标签码中。当信息较多时,标签码的使用会更加困难。对标签码数据进行压缩,可以减少存储信息的开销且便于识别。为了实现对此类数据的压缩,本文基于BWT、MTF和ANS算法,形成一种适用于标签数据的无损压缩算法,该算法在一定程度上对标签码进行无损数据压缩,有利于标签码信息的存储和识别以及标签码的使用。 展开更多

关键词 标签数据 无损数据压缩 bwt变换 前移变换 非对称数字系统

在线阅读 下载PDF 职称材料

基于BWT改进的LZW算法在传感器网络中的应用 被引量：6

2

作者 邓宏贵 王晋秀 +2 位作者 曹莉凌 朱芝靖 陈良款 《传感技术学报》 CAS CSCD 北大核心 2008年第6期1047-1051,共5页

传感器网络能量有限,网内数据不易直接传输,需要进行压缩。针对有损数据压缩的局限性,基于数据分块和BWT变换思想,提出了一种改进的无损数据压缩算法-B-LZW,保证了数据的完整性。通过信息熵理论分析及实验仿真,比较了B-LZW算法与传统的... 传感器网络能量有限,网内数据不易直接传输,需要进行压缩。针对有损数据压缩的局限性,基于数据分块和BWT变换思想,提出了一种改进的无损数据压缩算法-B-LZW,保证了数据的完整性。通过信息熵理论分析及实验仿真,比较了B-LZW算法与传统的LZW算法的性能。结果表明,在对实时性要求不高的传感器网络应用中,该算法能更有效地减轻网络节点存储负担,降低数据丢包率,提高压缩率2.75%～3%,节约网络能量,进一步延长网络寿命。 展开更多

关键词 无线传感器网络 bwt B-LZW算法 数据压缩

在线阅读 下载PDF 职称材料

基于AVX指令集BWT算法在DNA序列比对中应用 被引量：3

3

作者 孙红敏 杜博雅 +3 位作者 郑萍 李东野 曹延杰 侯星辰 《东北农业大学学报》 CAS CSCD 北大核心 2016年第11期93-99,共7页

新一代高通量测序技术发展产生大规模DNA序列片段,快速准确地将短序列比对到参考基因组成为生物信息学重要研究课题之一。针对BWT索引技术序列比对算法研究,提出基于Intel微架构AVX指令集优化BWT算法,通过改进计算方式实现算法并优化。... 新一代高通量测序技术发展产生大规模DNA序列片段,快速准确地将短序列比对到参考基因组成为生物信息学重要研究课题之一。针对BWT索引技术序列比对算法研究,提出基于Intel微架构AVX指令集优化BWT算法,通过改进计算方式实现算法并优化。结果表明,应用AVX指令集可减少CPU访存次数,降低算法时间复杂度,提高序列比对效率,为基因数据分析提供更高效快速序列比对方法,加快对全基因组序列处理。 展开更多

关键词 序列比对 AVX指令集 bwt算法 并行优化

在线阅读 下载PDF 职称材料

采用BWT的多核并行的子串匹配算法

4

作者 王佳英 王斌 +1 位作者 李晓华 杨晓春 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2016年第5期624-628,共5页

针对P-BWT精确匹配算法存在只支持短串查询并且只能工作在单处理器上的问题,提出了一个多核并行的支持任意查询长度的精确查询算法.改进了P-BWT索引上的查询过程,当一个查询串跨越了多个数据分片时,首先在其匹配的最后一个分片上查询,... 针对P-BWT精确匹配算法存在只支持短串查询并且只能工作在单处理器上的问题,提出了一个多核并行的支持任意查询长度的精确查询算法.改进了P-BWT索引上的查询过程,当一个查询串跨越了多个数据分片时,首先在其匹配的最后一个分片上查询,然后依次在前面分片上进行验证.进一步提出了一个多核并行查询算法来减少搜索和验证过程的迭代次数.实验结果表明,所述算法可以高效并行地完成子串匹配任务. 展开更多

关键词 bwt 全文索引 精确匹配 并行 多核

在线阅读 下载PDF 职称材料

基于BWT改进的LZSS算法在报文压缩中的应用 被引量：5

5

作者 李欣然 钟俊 《现代电子技术》 北大核心 2018年第15期92-96,共5页

电网的智能化使远动信息数据量急剧增大,对硬件设备的存储能力提出了很大的挑战。为缓解硬件设备压力,减少对硬件设备的投资,并且保证解压后能完整还原原始数据,需对报文进行无损压缩。针对IEC60870-5-104报文规约结构,提出基于BWT改进... 电网的智能化使远动信息数据量急剧增大,对硬件设备的存储能力提出了很大的挑战。为缓解硬件设备压力,减少对硬件设备的投资,并且保证解压后能完整还原原始数据,需对报文进行无损压缩。针对IEC60870-5-104报文规约结构,提出基于BWT改进的LZSS算法,使用BWT变换对字符串进行预处理,再将数据由LZSS算法进行压缩。实验仿真结果表明,该改进算法压缩效率相对于传统LZSS算法更好,平均压缩比减少15.58%,平均耗时减少6.949 s,能够有效减少电力报文数据的存储空间。 展开更多

关键词 数据压缩 LZSS算法 bwt 远动信息规约报文 智能变电站 无损压缩

在线阅读 下载PDF 职称材料

基于BWT和对称密钥的加密算法

6

作者 卿静 《电讯技术》 北大核心 2009年第2期77-79,共3页

用Burrows-Wheeler变换(Burrows-Wheeler Transformation,BWT)打乱明文次序,用行程长度编码(Run Length Encoding,RLE)缩小密文体积,然后使用密钥进行XOR运算。这是一种采用对称密钥方案的数据加密算法,具有较强的抗攻击能力。

关键词 通信安全 数据加密 对称密钥 bwt RLE

在线阅读 下载PDF 职称材料

BWT-Boyer-Moore压缩域搜索算法的研究

7

作者 姚全珠 丁晓剑 +1 位作者 任雪利 张志锋 《计算机应用研究》 CSCD 北大核心 2006年第7期59-61,共3页

针对Boyer-Moore匹配算法对压缩文本文件搜索的不足,分析了当前对于压缩文件搜索的主要方法,提出了一种基于BW转换的高效的搜索算法并予以验证。

关键词 压缩域 BOYER-MOORE算法 Burrow-Wheeler转换

在线阅读 下载PDF 职称材料

现代底栖有孔虫Uvigerina属元素比值对温度的指示意义

8

作者 周晓理 杨淳渝 《海洋地质与第四纪地质》 北大核心 2025年第4期60-72,共13页

Uvigerina属底栖有孔虫的Mg/Ca-温度指标常用于古海洋底水温度的重建。然而前人研究指出,其温度重建结果可能受到碳酸盐化学等非温度因素的干扰,且种间差异对重建结果的影响也存在争议。为进一步评估该属有孔虫元素指标的可靠性,本研究... Uvigerina属底栖有孔虫的Mg/Ca-温度指标常用于古海洋底水温度的重建。然而前人研究指出,其温度重建结果可能受到碳酸盐化学等非温度因素的干扰,且种间差异对重建结果的影响也存在争议。为进一步评估该属有孔虫元素指标的可靠性,本研究基于BJ8-03航次在印度尼西亚苏拉威西边缘采集的表层沉积物,结合多种元素比值(Mg/Ca、Li/Ca、Mg/Li、B/Ca和Sr/Ca),对比U.proboscidea、U.peregrina和U.elongatastriata 3个属种的温度和碳酸盐化学指标,结合全球多个站位已发表的Uvigerina元素数据,重新审视了Uvigerina种间差异及温度重建方法。结果表明,影响Uvigerina温度指标公式的主要因素可能是种间差异而非清洗方法。在多指标对比过程中,发现U.proboscidea的Mg/Ca与温度、U.proboscidea和U.peregrina的Sr/Ca与Δ[CO_(3)^(2-)]相关性较好,而U.elongatastriata的数据较为分散,与环境参数没有相关性。此后,进一步结合全球各站位数据更新了U.peregrina的Mg/Ca-温度公式(Mg/Ca=0.94(±0.059)+0.06(±0.007)×温度),其温度敏感性(6%)与前人结果相近,说明该指标较稳定;而Mg/Li的温度敏感性与前人结果不同,因此该指标的有效性有待进一步研究。与Mg/Ca和Mg/Li不同的是,Uvigerina属的Li/Ca、B/Ca和Sr/Ca与海水温度和碳酸盐化学参数并未显示可靠的相关性,其海水环境指示意义有待进一步的验证。 展开更多

关键词 底栖有孔虫 Uvigerina Mg/Ca-温度指标 Mg/Li-温度指标

在线阅读 下载PDF 职称材料

一类矢量地图的无损压缩算法 被引量：13

9

作者 钟尚平 高庆狮 《系统仿真学报》 CAS CSCD 2004年第10期2189-2194,共6页

充分考虑平面矢量地图文件的存储特性,对点,线,面类图层文件采用不同的几何压缩算法,有机结合“无附加码书”字典编码方法,可逆并显著地压缩了矢量地图,并得到了更有利于提高后续BWTBlock-Sorting文本压缩算法效果的预处理结果,从而实... 充分考虑平面矢量地图文件的存储特性,对点,线,面类图层文件采用不同的几何压缩算法,有机结合“无附加码书”字典编码方法,可逆并显著地压缩了矢量地图,并得到了更有利于提高后续BWTBlock-Sorting文本压缩算法效果的预处理结果,从而实现了平面矢量地图的有效的无损压缩。采用实际的地图数据,经实验分析表明:本算法具有较高的压缩性能,较好的压缩和解压效率和简单实用性。 展开更多

关键词 矢量地图 无损几何压缩 “无附加码书” 字典编码 bwt Block-Sorting算法

在线阅读 下载PDF 职称材料

泥沙沉降速度实验研究方法回顾与评述 被引量：9

10

作者 庞玲 张科利 +1 位作者 朱明 徐宪利 《人民黄河》 CAS 北大核心 2006年第5期50-52,共3页

在总结回顾国内外泥沙沉降速度测量方法的基础上,重点介绍了两种可以应用于土壤侵蚀过程模型的实验方法:G riffith沉降管法和BWT沉降管法,并根据我国水土流失的实际情况,提出了在研究我国侵蚀泥沙沉降规律时需要解决的问题。

关键词 过程模型 沉降速度 Griffith沉降管 bwt沉降管

在线阅读 下载PDF 职称材料

基于动力电池海量数据的特性化压缩处理研究 被引量：4

11

作者 王瑞 张维戈 +1 位作者 张言茹 吕亚军 《电测与仪表》 北大核心 2020年第1期99-105,共7页

动力电池数据的后台存储和分析无论是对于动力电池故障预警、动力电池回收、溯源管理,还是为动力电池的后续价值评估,都提供了数据支撑。面向海量数据传输存储的发展需求,文章提出针对动力电池数据特性的处理压缩方法。将多种压缩算法... 动力电池数据的后台存储和分析无论是对于动力电池故障预警、动力电池回收、溯源管理,还是为动力电池的后续价值评估,都提供了数据支撑。面向海量数据传输存储的发展需求,文章提出针对动力电池数据特性的处理压缩方法。将多种压缩算法进行对比选择;针对动力电池的不同数据类型、不同运行场景进行多方面分析研究,给出相应的处理方法;最终经过对运行数据的处理压缩,实现数据传输、存储成本的有效降低。 展开更多

关键词 动力电池 数据处理 哈夫曼编码 LZ77算法 bwt

在线阅读 下载PDF 职称材料

一种适合于传感器网络的新型压缩算法研究 被引量：2

12

作者 邓宏贵 王晋秀 +2 位作者 曹莉凌 朱芝靖 欧阳志 《传感器与微系统》 CSCD 北大核心 2008年第11期60-62,65,共4页

数据压缩可以高效节约网络能量,有效延长网络寿命。针对B-LZW算法的缺陷,提出了一种新型的可以直接应用于传感器网络的改进算法—MC-B-LZW;在设计中引入了miniCache,完善了算法的操作性,可使该算法嵌入到现有的各类传感节点中;测试B-LZ... 数据压缩可以高效节约网络能量,有效延长网络寿命。针对B-LZW算法的缺陷,提出了一种新型的可以直接应用于传感器网络的改进算法—MC-B-LZW;在设计中引入了miniCache,完善了算法的操作性,可使该算法嵌入到现有的各类传感节点中;测试B-LZW及其改进算法MC8,MC16,MC32和MC64的性能;通过比较压缩率和执行时间2个指标,得出结论:MC16算法性能最优,压缩率较B-LZW平均提高13.6%,执行时间较B-LZW几乎没有延长,是一种比较理想的压缩算法。 展开更多

关键词 传感器网络 数据压缩 LZW算法 bwt算法

在线阅读 下载PDF 职称材料

压缩的全文自索引算法研究 被引量：2

13

作者 路炜 刘燕兵 +2 位作者 王春露 刘庆云 郭莉 《计算机应用与软件》 CSCD 北大核心 2014年第3期11-15,35,共6页

针对传统全文索引技术空间浪费过大等问题,介绍压缩的全文自索引技术。该技术仅利用索引数据即可完成子串搜索,并且可以从索引数据无损地还原出原始的文本信息,是一种无需存储原始文本信息的"自索引"技术,从而大大节省存储空... 针对传统全文索引技术空间浪费过大等问题,介绍压缩的全文自索引技术。该技术仅利用索引数据即可完成子串搜索,并且可以从索引数据无损地还原出原始的文本信息,是一种无需存储原始文本信息的"自索引"技术,从而大大节省存储空间。综述现有的十几种典型的压缩的全文自索引算法的基本思想及其实现,并在多种数据集上对这些算法进行综合的测试评估。实验结果表明,压缩的全文自索引技术有效地节省了空间开销,实用价值较高。 展开更多

关键词 全文索引 数据压缩 自索引 后缀数组 bwt变换

在线阅读 下载PDF 职称材料

一种灵活的精度可控的可搜索对称加密方案 被引量：3

14

作者 李西明 陶汝裕 +2 位作者 粟晨 黄琼 黄欣沂 《计算机研究与发展》 EI CSCD 北大核心 2020年第1期3-16,共14页

中查找到关键词记录的这3种搜索情况.同时,系统也结合3种搜索设计了一种模糊增强搜索进一步增强系统的实用性.FASSE方案的具体实现语言是Java编程开发语言,并且最终实验得出FASSE在https://eprint.iacr.org/complete/的论文数据集中平... 中查找到关键词记录的这3种搜索情况.同时,系统也结合3种搜索设计了一种模糊增强搜索进一步增强系统的实用性.FASSE方案的具体实现语言是Java编程开发语言,并且最终实验得出FASSE在https://eprint.iacr.org/complete/的论文数据集中平均搜索完每一篇论文的时间为114.26ms. 展开更多

关键词 可搜索对称加密 后缀数组 LF映射 SubLF映射 FM索引 bwt转换

在线阅读 下载PDF 职称材料

一种空间高效的多核并行近似子串匹配方法

15

作者 王佳英 王斌 杨晓春 《计算机研究与发展》 EI CSCD 北大核心 2015年第S1期37-47,共11页

子串匹配问题是信息检索、信号处理以及生物信息学等领域中的研究重点.随着文本数据的快速增长,在大数据集上高效地完成近似子串匹配是一项挑战.另一方面,多核架构已经成为当今的主流计算机架构,如何在大规模数据中利用多核的优势提高... 子串匹配问题是信息检索、信号处理以及生物信息学等领域中的研究重点.随着文本数据的快速增长,在大数据集上高效地完成近似子串匹配是一项挑战.另一方面,多核架构已经成为当今的主流计算机架构,如何在大规模数据中利用多核的优势提高近似子串匹配的效率是本文的研究重点.BWT索引是生物信息学中广泛应用的索引方法,其特点是索引空间小,支持高效压缩和子串匹配.但现有的基于BWT的方法没有考虑多个查询串上的计算共享以及多核资源的动态分配.本文在传统的BWT搜索方法基础上对搜索过程进行了改进,采用过滤和验证的方式完成近似子串匹配.首先,对查询串进行分割重组来减少搜索过程中的重复计算.其次,利用多核优势,动态地按需分配处理器资源从而提高搜索和验证的效率.最后,实验研究展示了本文提出的方法的高效性. 展开更多

关键词 bwt 多核 并行 子串 近似匹配

在线阅读 下载PDF 职称材料

一种基于后缀排序快速实现Burrows-Wheeler变换的方法 被引量：5

16

作者 李冰 龙冰洁 刘勇 《电子与信息学报》 EI CSCD 北大核心 2015年第2期504-508,共5页

近年来,Bzip2压缩算法凭借其在压缩率方面的优势,得到了越来越多的应用,Bzip2的核心算法是Burrows-Wheeler变换(BWT),BWT能有效的将数据中相同的字符聚集到一起,为进一步压缩创造条件。在硬件实现BWT时,常用的基于后缀排序的算法能有效... 近年来,Bzip2压缩算法凭借其在压缩率方面的优势,得到了越来越多的应用,Bzip2的核心算法是Burrows-Wheeler变换(BWT),BWT能有效的将数据中相同的字符聚集到一起,为进一步压缩创造条件。在硬件实现BWT时,常用的基于后缀排序的算法能有效克服BWT消耗存储资源大的问题,该文对基于后缀排序实现BWT的方法进行了详细分析,并且在此基础上提出了一种快速实现BWT的方法后缀段算法。仿真结果表明后缀段算法在处理速度上比传统的基于后缀排序的算法有很大的提高。 展开更多

关键词 信号处理 数据压缩 Bzip2 Burrows-Wheeler变换 后缀排序

在线阅读 下载PDF 职称材料

一种基于二进制小波变换的无损图像编码算法 被引量：5

17

作者 潘泓 WC Siu 夏良正 《电子与信息学报》 EI CSCD 北大核心 2008年第7期1671-1675,共5页

该文提出了一种基于二进制小波变换的嵌入式无损图像编码算法——渐进式分裂二进制小波树编码器(PPBWC)。PPBWC采用混合系数扫描方法按模值大小排序小波系数得到中间符号序列,通过非因果的自适应上下文条件编码考虑了不同频带小波系数... 该文提出了一种基于二进制小波变换的嵌入式无损图像编码算法——渐进式分裂二进制小波树编码器(PPBWC)。PPBWC采用混合系数扫描方法按模值大小排序小波系数得到中间符号序列,通过非因果的自适应上下文条件编码考虑了不同频带小波系数的自相似特性,并利用待编码系数的"未来"信息提高了PPBWC的压缩编码性能。混合系数扫描和非因果的自适应上下文条件编码是PPBWC高效编码的主要因素。实验结果表明,与其它嵌入式无损算法相比,PPBWC具有最优的无损编码性能。 展开更多

关键词 无损图像编码 二进制小波变换 嵌入式小波编码器

在线阅读 下载PDF 职称材料

基于自适应仿生小波变换的语音增强方法 被引量：3

18

作者 曹斌芳 李建奇 《数据采集与处理》 CSCD 北大核心 2010年第6期741-745,共5页

分析自适应滤波和小波滤波的原理与方法,提出一种基于自适应仿生小波变换的语音增强方法。该方法首先用仿生小波变换对含噪语音信号进行小波分解,这样可以保证对信号频率和幅值的听觉特性,然后将经仿生小波变换所分离出来的噪声成分作... 分析自适应滤波和小波滤波的原理与方法,提出一种基于自适应仿生小波变换的语音增强方法。该方法首先用仿生小波变换对含噪语音信号进行小波分解,这样可以保证对信号频率和幅值的听觉特性,然后将经仿生小波变换所分离出来的噪声成分作为自适应滤波器的输入。通过选用自适应滤波器的最小二乘算法(RLS)从而实现信噪分离的最佳滤波,以保证去除信号中的相关噪声。实验结果表明,该方法对语音信号有显著的增强效果,能实现语音信号在同频段对噪声成分和有用信号的最佳估计。 展开更多

关键词 语音增强 仿生小波变换 自适应滤波

在线阅读 下载PDF 职称材料

基于比特平面SBI变换的遥感图像无损压缩

19

作者 苏东卫 慈林林 陈晓峰 《北京理工大学学报》 EI CAS CSCD 北大核心 2005年第9期765-768,共4页

提出一种基于子块互换(subb lock in terchange,SB I)的遥感图像无损压缩方案.采用小波变换对遥感图像进行分解,将生成的频域数据按不同比特平面分别进行SB I变换并用算术编码进行压缩.该方案改进了基于列的扫描方式,将小波系数按幅值... 提出一种基于子块互换(subb lock in terchange,SB I)的遥感图像无损压缩方案.采用小波变换对遥感图像进行分解,将生成的频域数据按不同比特平面分别进行SB I变换并用算术编码进行压缩.该方案改进了基于列的扫描方式,将小波系数按幅值大小进行重新排序,根据SB I变换后数据特点取消了文本压缩中常用的前移编码(M TF),在降低复杂度的前提下提高了压缩率,同时具有信噪比和分辨率可扩展特性. 展开更多

关键词 遥感图像 比特平面编码 bwt算法 SBI变换 排序顺序

在线阅读 下载PDF 职称材料

Bottom water temperature measurements in the South China Sea,eastern Indian Ocean and western Pacific Ocean 被引量：8

20

作者 YANG Xiaoqiu SHI Xiaobin +14 位作者 ZHAO Junfeng YU Chuanhai GAO Hongfang CHEN Aihua LU Yuanzheng CEN Xianrong LIN Weiren ZENG Xin XU Hehua REN Ziqiang ZHOU Shengqi XU Ziying SUN Jinlong KAMIYA Nana LIN Jian 《热带海洋学报》 CAS CSCD 北大核心 2018年第5期86-97,共12页

文章报道了一批新的海底底水温度(BWT)数据,其中南海(SCS)158个站位、东印度洋(EIO)30个站位及西太平洋(WPO)37个站位。基于这批新的BWT数据,获得南海和西太平洋海域底水温度与水深经验关系,可为地球物理和物理海洋提供准确、可靠的海... 文章报道了一批新的海底底水温度(BWT)数据,其中南海(SCS)158个站位、东印度洋(EIO)30个站位及西太平洋(WPO)37个站位。基于这批新的BWT数据,获得南海和西太平洋海域底水温度与水深经验关系,可为地球物理和物理海洋提供准确、可靠的海底温度边界。这将有助于海底油气资源调查与评估。同时,这批实测数据表明:1)水深超过3500m的海域,其底水温度在南海约为2.47℃,比东印度洋(～1.34℃)和西太平洋(～1.60℃)稍微偏高。这与大洋传送带模式所预测的情况比较吻合。该模式认为:低温高盐的海水,从北大西洋格陵兰岛和冰岛附近海域下沉到深层,然后向南流动,再与南极洲周围海域的低温高盐海水一同向北进入印度洋和太平洋。而南海是一个相对比较封闭的热带边缘海,其内部海水与印度洋和菲律宾海交换有限,导致海水温度整体高于印度洋和太平洋。2)台西南盆地水深在2700～3000m的部分站位,其底水温高达约3.00℃,明显高于其周边同水深海域底水温度(平均值约为2.33℃)。这可能是台西南盆地海底水热活动导致的结果。3)在东印度洋和西太平洋水深超过4800m海域,底水温度随着水压增大稍有升高,其升高率分别为10.6mK·MPa^(-1)和12.0mK·MPa^(-1)。这与理论估算的深层底水绝热压力温度梯度范围较为吻合。这也意味着东印度洋和西太平洋深层底水,主要由绝热自压作用导致其温度随着深度的增大而升高。 展开更多

关键词 海底底水温度(bwt) 南海(SCS) 东印度洋(EIO) 西太平洋(WPO) 大洋传送带模式

在线阅读 下载PDF 职称材料