期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
面向数据差量压缩的高效压缩率估计方法
1
作者
邹翔宇
魏灿
+1 位作者
夏文
李诗逸
《计算机工程》
CAS
CSCD
北大核心
2024年第12期70-82,共13页
差量压缩不仅会消除数据中相同的数据块,还会消除数据中相似数据块之间的重复部分,因此可以实现比数据去重更高的数据压缩率。目前它已经被应用于许多商业产品中。然而,进一步挖掘数据的可压缩性会额外引入大量的开销,包括从存储设备中...
差量压缩不仅会消除数据中相同的数据块,还会消除数据中相似数据块之间的重复部分,因此可以实现比数据去重更高的数据压缩率。目前它已经被应用于许多商业产品中。然而,进一步挖掘数据的可压缩性会额外引入大量的开销,包括从存储设备中读取相似的数据块以获知它们的重复部分,这使得差量压缩的速度通常只有数据去重的1/7。但是如此大的开销不能保证总是可以得到更好的压缩率,因为并不是所有的数据都有足够的可压缩性可供挖掘。因此,当考虑在存储系统中使用差量压缩时,需要迅速了解当前的数据是否值得进行差量压缩。提出差量压缩估计框架EDCR,它通过数据块的相似特征值来快速判断它们之间的可压缩性,从而对数据进行差量压缩的价值做出快速而准确的判断。另外,该框架引入采样和补偿方案,进一步提升了压缩率估计的效率和准确性。最终,在多个真实数据集上的测试表明,EDCR的估计错误率可以控制在1.5%以下。同时,相对于实际的差量压缩框架,EDCR估计框架在固态硬盘(SSD)上的运行速度快18~24倍,在机械磁盘(HDD)上的运行速度快16~146倍。
展开更多
关键词
差量压缩
压缩
率估计
相似性特征
采样
估计修正
在线阅读
下载PDF
职称材料
面向桥梁健康监测的数据压缩算法
2
作者
陈垦
钟爱平
+6 位作者
文煜轩
杨洋
李伟
曾山
王俊
谭屈山
杨柳
《科学技术与工程》
北大核心
2025年第8期3304-3315,共12页
基于传感器数据采集的桥梁健康监测系统已经成为新建桥梁的标配,在这种场景下所带来的是海量监测数据难以存储的问题。因此,针对桥梁监测数据的时间序列特性,研究桥梁监测数据的压缩方案,该方案研究了基于桥梁监测时间戳数据等差数列性...
基于传感器数据采集的桥梁健康监测系统已经成为新建桥梁的标配,在这种场景下所带来的是海量监测数据难以存储的问题。因此,针对桥梁监测数据的时间序列特性,研究桥梁监测数据的压缩方案,该方案研究了基于桥梁监测时间戳数据等差数列性质的差量压缩法和基于监测值数据变化频率不大的浮点数异或(exclusive OR,XOR)压缩法。与Gorilla时序数据库的算法相比,增加了异或压缩法的控制位,避免了压缩结果的恶化。通过实验分析得出,两算法对比常用压缩器有不同程度的优势,时间戳序列差量压缩法在压缩率上优于常用压缩器,针对符合等差数列特性的时间戳序列,压缩率0.0156,接近压缩极限值,压缩解压速度位居中上,并且对监测类型不敏感。而异或压缩法在变化频率不大的数据集上表现较好,压缩率0.3028,在非桥梁数据集上压缩率0.6628,表明异或压缩法对监测类型比较敏感。在桥梁监测的实际应用场景中,可以根据桥梁监测数据集的特点选择合适的压缩存储方案。
展开更多
关键词
桥梁监测
时序数据
差量压缩
异或(XOR)
压缩
在线阅读
下载PDF
职称材料
题名
面向数据差量压缩的高效压缩率估计方法
1
作者
邹翔宇
魏灿
夏文
李诗逸
机构
哈尔滨工业大学(深圳)计算机科学与技术学院
广东省安全智能新技术重点实验室
出处
《计算机工程》
CAS
CSCD
北大核心
2024年第12期70-82,共13页
基金
国家自然科学基金面上项目(61972441)
深圳市基础研究优青项目(RCYX20210609104510007)
广东省普通高校青年创新人才项目(2022KQNCXl59)。
文摘
差量压缩不仅会消除数据中相同的数据块,还会消除数据中相似数据块之间的重复部分,因此可以实现比数据去重更高的数据压缩率。目前它已经被应用于许多商业产品中。然而,进一步挖掘数据的可压缩性会额外引入大量的开销,包括从存储设备中读取相似的数据块以获知它们的重复部分,这使得差量压缩的速度通常只有数据去重的1/7。但是如此大的开销不能保证总是可以得到更好的压缩率,因为并不是所有的数据都有足够的可压缩性可供挖掘。因此,当考虑在存储系统中使用差量压缩时,需要迅速了解当前的数据是否值得进行差量压缩。提出差量压缩估计框架EDCR,它通过数据块的相似特征值来快速判断它们之间的可压缩性,从而对数据进行差量压缩的价值做出快速而准确的判断。另外,该框架引入采样和补偿方案,进一步提升了压缩率估计的效率和准确性。最终,在多个真实数据集上的测试表明,EDCR的估计错误率可以控制在1.5%以下。同时,相对于实际的差量压缩框架,EDCR估计框架在固态硬盘(SSD)上的运行速度快18~24倍,在机械磁盘(HDD)上的运行速度快16~146倍。
关键词
差量压缩
压缩
率估计
相似性特征
采样
估计修正
Keywords
delta compression
compression ratio estimation
similarity feature
sampling
estimation correction
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
面向桥梁健康监测的数据压缩算法
2
作者
陈垦
钟爱平
文煜轩
杨洋
李伟
曾山
王俊
谭屈山
杨柳
机构
四川数字交通科技股份有限公司
西南交通大学综合交通大数据应用技术国家工程实验室
西南交通大学信息科学与技术学院
出处
《科学技术与工程》
北大核心
2025年第8期3304-3315,共12页
基金
四川省科技创新基地(平台)和人才计划(2022JDR0356)
四川省科技计划(软科学项目)(2021JDR0101)
+1 种基金
宜宾市双城市校协议专项科研经费科技项目(SWJTU2021020005)
新一代人工智能国家科技重大专项(2022ZD0115600)。
文摘
基于传感器数据采集的桥梁健康监测系统已经成为新建桥梁的标配,在这种场景下所带来的是海量监测数据难以存储的问题。因此,针对桥梁监测数据的时间序列特性,研究桥梁监测数据的压缩方案,该方案研究了基于桥梁监测时间戳数据等差数列性质的差量压缩法和基于监测值数据变化频率不大的浮点数异或(exclusive OR,XOR)压缩法。与Gorilla时序数据库的算法相比,增加了异或压缩法的控制位,避免了压缩结果的恶化。通过实验分析得出,两算法对比常用压缩器有不同程度的优势,时间戳序列差量压缩法在压缩率上优于常用压缩器,针对符合等差数列特性的时间戳序列,压缩率0.0156,接近压缩极限值,压缩解压速度位居中上,并且对监测类型不敏感。而异或压缩法在变化频率不大的数据集上表现较好,压缩率0.3028,在非桥梁数据集上压缩率0.6628,表明异或压缩法对监测类型比较敏感。在桥梁监测的实际应用场景中,可以根据桥梁监测数据集的特点选择合适的压缩存储方案。
关键词
桥梁监测
时序数据
差量压缩
异或(XOR)
压缩
Keywords
bridge monitoring
time series data
differential compression
exclusive OR(XOR)compression
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
面向数据差量压缩的高效压缩率估计方法
邹翔宇
魏灿
夏文
李诗逸
《计算机工程》
CAS
CSCD
北大核心
2024
0
在线阅读
下载PDF
职称材料
2
面向桥梁健康监测的数据压缩算法
陈垦
钟爱平
文煜轩
杨洋
李伟
曾山
王俊
谭屈山
杨柳
《科学技术与工程》
北大核心
2025
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
