题名 重复数据删除技术在云存储中的应用
被引量：2
1
作者
宋桂平
机构
河南测绘职业学院
出处
《科技创新与应用》
2022年第19期158-161,共4页
文摘
云存储是一种低成本、高安全的数据存储方式,但是这些存储在云端的数据有很多是重复的,不仅占用存储空间、增加存储成本,而且严重消耗网络带宽。重复数据删除技术作为一种全局性的冗余数据消除技术,压缩比高达20∶1,对于缓解数据爆炸式增长带来的存储压力有积极帮助。文章首先介绍重复数据删除的基本流程和重复数据常用检测技术,随后设计一种重复数据删除系统,并介绍该系统的主体架构、功能模块和数据分配策略。最后进行分块算法性能测试、系统备份和恢复性能测试,结果表明,分块算法比滑动窗口算法在损失少于10%重删率的基础上,使系统性能提升40倍左右,让重复数据删除系统的综合应用效果得到明显改进。
关键词
重复数据删除技术 云存储 数据 存储节点分块算法
Keywords
deduplication technology cloud storage data storage node block algorithm
分类号
TP333
[自动化与计算机技术—计算机系统结构]
题名 重复数据删除技术在机车数据远程传输中的应用
被引量：1
2
作者
曲长萍
机构
中车大连机车研究所有限公司电力电子事业部
出处
《机车电传动》
北大核心
2019年第3期107-110,共4页
文摘
针对车载数据远程传输中存在大量冗余数据的问题,提出了一种基于重复数据删除技术的数据远程传输方法。在基于套接字的数据远程传输过程中,首先将待传输的车载数据进行分块处理,通过MD5算法计算数据块特征值,然后将计算的特征值发送到地面接收端,由地面接收端判断数据冗余性。针对机车车载数据长度固定但周期不同的特点,提出更适合车载数据传输的数据分块方法,并以HXD2型机车数据为例加以验证。试验结果表明,在无线传输中增加重复数据删除技术可优化传输策略、节省网络带宽、降低数据传输成本。
关键词
远程传输 冗余数据 重复数据删除技术 MD5算法 数据 分块
Keywords
remote transmission redundant data deduplication MD5 algorithm data segmentation
分类号
TN191
[电子电信—物理电子学]
U26
[机械工程—车辆工程]
题名 基于Hadoop的重复数据删除技术研究
被引量：1
3
作者
郭强
机构
辽宁师范大学海华学院管理系
出处
《现代信息科技》
2019年第3期142-144,共3页
文摘
重复数据删除技术和云计算技术正在快速发展,但是Hadoop系统也仍然存在一些影响系统归档处理效率的因素。针对这个问题,文章提出一种新的增量指纹算法和改进TTTD算法——TDOB,并将这类算法应用到Hadoop分布式系统中,分析重复数据删除技术在Hadoop中的应用。
关键词
HADOOP 重复数据删除技术 TDOB算法
Keywords
Hadoop repeat data delete technology TDOB algorithm
分类号
TP309.3
[自动化与计算机技术—计算机系统结构]
题名 支持文件重删的HDFS分布式备份系统研究
被引量：3
4
作者
王建辉 石宇良
机构
北京工业大学软件学院
出处
《电子设计工程》
2014年第4期19-22,共4页
文摘
随着传统行业电子化的速度日渐加快,电脑上的数据量与日俱增,数据备份领域面临的挑战也越来越大。传统备份因为需要大量的磁盘阵列作为存储介质,所以在成本控制上一直是个难题。针对该情况,结合云存储平台低廉的成本、高效的资源伸缩与利用率,研究在HDFS系统中加入新的重复数据删除技术,并对原有备份策略进行优化,设计出一种基于云存储中的重复数据删除技术的备份系统。最后通过实验,对改进后的方案系统与传统备份方案备份文件所占空间、时间等参数进行了对比。
关键词
备份 重复数据删除技术 HDFS 云存储
Keywords
backup deduplication HDFS cloud storage
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 构建多层次信息保护体系保障业务连续
5
作者
许瑀
机构
EMC公司咨询服务部
出处
《中国信息安全》
2010年第8期78-80,共3页
文摘
EMC咨询服务部在全球有2700名咨询顾问,客户遍布全球财富500强企业的一半以上。在中国超过60名顾问分布在北京、上海、广州、深圳、成都,能力覆盖全国。团队核心成员均具备10年以上IT咨询经验,拥有各领域专家认证(PMP、DRI II CBCP、ITIL Master、ISO20000Auditor、CISSP、CISA、ISO27001Auditor、Microsoft MVP、VMWare VCP),为金融、电信、政府、电力及其它大企业的行业服务,积累了丰富的经验。
关键词
数据 备份技术 连续性 快照 克隆技术 无性繁殖技术 持续数据 保护 重复数据删除技术 灾难备份 远程复制 EMC 业务连续 异地容灾 恢复管理器 SRDF 多层次
分类号
C932.8
[经济管理—管理学]
TP309
[自动化与计算机技术—计算机系统结构]
