基于Rsync算法的实时同步模型优化 被引量：1

1

作者 秦金磊 孙珊珊 李整 《信息网络安全》 北大核心 2025年第3期425-437,共13页

针对远程同步Rsync算法在运行过程中校验和计算对比开销大、同步过程繁琐的问题,文章提出一种基于SipHash强校验的远程同步算法RSip_sync。首先,在计算强校验时采用SipHash算法,重构校验和计算函数并对其内部进行分割;然后,更新校验和... 针对远程同步Rsync算法在运行过程中校验和计算对比开销大、同步过程繁琐的问题,文章提出一种基于SipHash强校验的远程同步算法RSip_sync。首先,在计算强校验时采用SipHash算法,重构校验和计算函数并对其内部进行分割;然后,更新校验和验证逻辑,以适应SipHash内部分割算法,其简单的运算过程和较少的迭代轮次使得校验和计算与对比开销减少;最后,利用Inotify实时监控文件技术,实时监控指定数据备份目录中文件的更新变化,从而实现实时自动同步数据。在两组数据集上的仿真实验结果表明,相较于Rsync算法,RSip_sync计算差异数据的耗时减少了40.28%,整体的数据同步时间减少了4.91%,同步速度提升了8.86%。实验结果验证了RSip_sync算法的有效性,其采用的强校验和更适合远程同步,降低了块比较的复杂度,可以更快地进行数据同步。 展开更多

关键词 rsync SipHash 实时数据同步 云文件

在线阅读 下载PDF 职称材料

基于本地快照和Rsync算法的Web文件保护 被引量：3

2

作者 何倩 赵帮 +1 位作者 王勇 杨指挥 《计算机工程》 CAS CSCD 2013年第6期190-193,199,共5页

针对网页被篡改后的访问保护和快速恢复问题,以分布式网页防篡改系统的备份恢复为背景,提出一种基于本地快照和Rsync同步的Web文件保护方法。当Web页面被篡改时,Web服务器通过快照技术将原Web页面的映像发送给用户浏览,使得系统完好无损... 针对网页被篡改后的访问保护和快速恢复问题,以分布式网页防篡改系统的备份恢复为背景,提出一种基于本地快照和Rsync同步的Web文件保护方法。当Web页面被篡改时,Web服务器通过快照技术将原Web页面的映像发送给用户浏览,使得系统完好无损,进一步调用Rsync算法从备份服务器上同步Web文件,从而实现恢复。实验结果表明,该方法可保护被篡改页面不被访问,具备较好的快速恢复性能。 展开更多

关键词 网页防篡改 Web文件保护 备份恢复 本地快照 文件同步 rsync算法

在线阅读 下载PDF 职称材料

基于Rsync协议的网络中心管理系统的设计与实现 被引量：4

3

作者 童端 李纪云 许宏 《计算机工程与应用》 CSCD 北大核心 2005年第29期123-126,162,共5页

随着Linux的普及,越来越多的高校机房和网络中心都在使用Linux系统。论文设计和实现了一个高度集成的,完全自动化的网络中心管理系统。它通过Rsync协议完成系统的快速安装,并自动完成配置;同时还可以用于网络中心的日常管理工作,如备份... 随着Linux的普及,越来越多的高校机房和网络中心都在使用Linux系统。论文设计和实现了一个高度集成的,完全自动化的网络中心管理系统。它通过Rsync协议完成系统的快速安装,并自动完成配置;同时还可以用于网络中心的日常管理工作,如备份、灾难恢复和系统升级等。 展开更多

关键词 部署系统 映像 安装 rsync

在线阅读 下载PDF 职称材料

基于SSH,Rsync和磁盘阵列的邮件数据备份 被引量：6

4

作者 曾鸣 徐春笙 +1 位作者 丁磊 钟焯荣 《重庆工学院学报》 2007年第11期106-109,共4页

阐述了邮件数据备份对于维持邮件服务正常运行所具有的意义.提出利用SSH,Rsync传输邮件数据,并用磁盘阵列作为储存介质的备份方案,保证了邮件数据在远程备份过程中的安全性、便利性,列出了服务器的具体配置过程.

关键词 邮件备份 SSH rsync 磁盘阵列

在线阅读 下载PDF 职称材料

基于改进Rsync算法计量自动化系统与营销系统档案同步技术 被引量：5

5

作者 程万旭 金鑫 肖勇 《计算机应用研究》 CSCD 北大核心 2020年第S01期199-200,203,共3页

南方电网公司营销系统与计量自动化系统传统数据传输为全覆盖式同步方式,整个过程中传输的信息数据是全部的完整档案信息。目前台区自动识别与主动组网注册机制相结合的零知识装载的台区档案信息自动感知业务对档案同步技术提出了更高... 南方电网公司营销系统与计量自动化系统传统数据传输为全覆盖式同步方式,整个过程中传输的信息数据是全部的完整档案信息。目前台区自动识别与主动组网注册机制相结合的零知识装载的台区档案信息自动感知业务对档案同步技术提出了更高的要求,同步效率、可靠性、一致性需要进一步的提升,才能保证档案信息的准确、一致,为迭代筛选、持续跟踪维护以及后续的工程化实施提供强有力的保障。通过对文件数据同步技术Rsync算法进行研究,改进Rsync算法,提高了同步效率,节省了数据通信流量,并通过仿真验证分析结果的正确性。 展开更多

关键词 rsync(remote synchronize) 档案同步 营销系统 自动化系统

在线阅读 下载PDF 职称材料

面向算力网络的跨集群数据迁移系统的设计和实现

6

作者 李俊哲 付振新 +3 位作者 杨宏辉 马银萍 李若淼 樊春 《计算机工程与科学》 北大核心 2025年第5期775-786,共12页

在算力网络的建设中,如何在不同地域算力中心的集群之间进行高效可靠的数据迁移,是影响算力网络建设成功与否的关键研究课题。鉴于此,设计并实现了基于RSYNC的高性能传输软件SCOW-SYNC。首先,SCOW-SYNC采用队列和线程池架构,对传统的RS... 在算力网络的建设中,如何在不同地域算力中心的集群之间进行高效可靠的数据迁移,是影响算力网络建设成功与否的关键研究课题。鉴于此,设计并实现了基于RSYNC的高性能传输软件SCOW-SYNC。首先,SCOW-SYNC采用队列和线程池架构,对传统的RSYNC进行了优化,通过并行建立多个TCP连接和并行传输,提高了带宽利用率。此外,SCOW-SYNC还支持大文件自动切分、动态压缩、后台运行、进度实时查询和SSH连接池管理等功能。经测试,SCOW-SYNC相比RSYNC能够达到125%~130%的加速比。其次,为了提高传输的安全性,面向算力中心提出了一套可靠的跨集群传输系统架构,数据传输仅在“传输节点”之间发起,使用“传输密钥”进行加密,该密钥由“管理节点”负责动态检查、生成和分发。最后,将SCOW-SYNC集成到高性能计算门户和管理平台SCOW中,实现了SCOW的跨集群传输模块,使得用户可以通过浏览器在不同集群之间进行高性能的数据迁移,并通过容器化技术部署到了北京大学跨集群环境中,提高了生产效率。 展开更多

关键词 高性能计算系统软件 算力网络 并行传输 rsync 集群安全

在线阅读 下载PDF 职称材料

远程文件快速同步方法 被引量：8

7

作者 胡晓勤 卢正添 +3 位作者 刘晓洁 李涛 赵庆华 赵奎 《电子科技大学学报》 EI CAS CSCD 北大核心 2008年第4期594-597,共4页

远程文件快速同步在文件备份与恢复、Web缓存等应用场景有广泛的应用。该文给出了一种新的文件快速远程同步方法,在客户端计算文件新旧版本之间的状态差异集和在服务器端重放文件状态差异集实现文件内容差异同步和重命名优化;给出了文... 远程文件快速同步在文件备份与恢复、Web缓存等应用场景有广泛的应用。该文给出了一种新的文件快速远程同步方法,在客户端计算文件新旧版本之间的状态差异集和在服务器端重放文件状态差异集实现文件内容差异同步和重命名优化;给出了文件状态差异集的生成、重放和优化方法。实验结果表明,与rsync相比,文件内容差异同步网络流量显著降低,同时,重命名优化网络流量为KB级,与文件长度无关,显著地降低了网络流量。 展开更多

关键词 文件同步 重命名优化 rsync 快照

在线阅读 下载PDF 职称材料

高效的两轮远程文件快速同步算法 被引量：13

8

作者 徐旦 生拥宏 +2 位作者 鞠大鹏 吴建平 汪东升 《计算机科学与探索》 CSCD 2011年第1期38-49,共12页

远程文件快速同步在文件备份与恢复、Web与ftp网站镜像、分发网络、Web访问中具有广泛的应用。提出了一种高效的基于变长分块和定长滑动块相结合的两轮快速文件同步算法——tpsync。同步算法分两轮进行,第一轮利用基于可变分块技术在粗... 远程文件快速同步在文件备份与恢复、Web与ftp网站镜像、分发网络、Web访问中具有广泛的应用。提出了一种高效的基于变长分块和定长滑动块相结合的两轮快速文件同步算法——tpsync。同步算法分两轮进行,第一轮利用基于可变分块技术在粗粒度上定位待同步文件的局部变化数据段,第二轮对局部变化数据段采用定长滑动切块技术在细粒度上查找出差异数据,最终通过两轮数据交互实现文件的同步。将tpsync与传统的单轮同步算法rsync进行了对比实验,通过对文本、二进制和数据库三种文件类型相似版本之间的同步实验,结果表明tpsync在平均同步时间和网络传输数据量两个方面均优于rsync。 展开更多

关键词 重复数据检测 文件同步 rsync算法

在线阅读 下载PDF 职称材料

一种逆向的差异归档方法 被引量：3

9

作者 马晓旭 胡晓勤 +2 位作者 邓洪敏 赵昊汉 何宇平 《四川大学学报（工程科学版）》 EI CAS CSCD 北大核心 2009年第4期191-195,共5页

为了提高归档文件的恢复效率,提出了一种逆向的差异归档方法。该方法通过计算文件新旧版本之间的逆向差异和重构最新归档点文件来实现文件的差异归档。归档文件进行恢复时,根据逆向差异文件,采用时间逆序的方式,对归档点文件进行重构、... 为了提高归档文件的恢复效率,提出了一种逆向的差异归档方法。该方法通过计算文件新旧版本之间的逆向差异和重构最新归档点文件来实现文件的差异归档。归档文件进行恢复时,根据逆向差异文件,采用时间逆序的方式,对归档点文件进行重构、恢复。实验结果表明,与传统的正向差异归档方法相比,本方法显著减少了文件的重构时间,大幅提升了文件的恢复效率。 展开更多

关键词 文件归档 逆向差异计算 文件重构 文件恢复 rsync

在线阅读 下载PDF 职称材料

应用于远程文件备份系统的关键技术 被引量：3

10

作者 何宇平 李涛 +2 位作者 胡晓勤 彭勇 马晓旭 《计算机应用研究》 CSCD 北大核心 2009年第1期361-363,共3页

介绍了可应用于远程文件备份系统的关键技术,包括对于传统RSYNC算法的改进、采用快照技术、设计有效的文件同步策略和在服务器端进行加密存储。实验表明,采用这些技术可以使系统有效降低网络流量,从而实现高效、快速和安全的远程文件同步。

关键词 文件备份 rsync算法 快照 加密

在线阅读 下载PDF 职称材料

远程文件差异同步系统的设计与实现 被引量：8

11

作者 汤晓迪 马晓旭 +1 位作者 宁静 刘晓洁 《计算机工程与设计》 CSCD 北大核心 2010年第20期4389-4392,共4页

设计并实现一种远程文件差异同步系统(remote file synchronization system,RFSS),在系统中,根据传统rsync算法设计了一种带冲突检测的Hash表查找方法以提高计算效率,并且在服务器端采用了加解密存储的缓冲区管理方法解决了"雪崩效... 设计并实现一种远程文件差异同步系统(remote file synchronization system,RFSS),在系统中,根据传统rsync算法设计了一种带冲突检测的Hash表查找方法以提高计算效率,并且在服务器端采用了加解密存储的缓冲区管理方法解决了"雪崩效应"。实验结果表明,采用该方法有效地提高了计算效率,降低了网络流量,从而实现了高效、快速和安全的远程文件同步。 展开更多

关键词 文件备份 rsync算法 差异计算 文件重构 安全性

在线阅读 下载PDF 职称材料

基于Linux平台的远程数据容灾系统的设计与实现 被引量：10

12

作者 苏冠群 陶宏才 《计算机应用》 CSCD 北大核心 2012年第7期2056-2058,共3页

针对当前远程数据容灾系统效率比较低的缺点,提出并实现一种远程数据容灾系统(RDBRS);通过对Rsync框架进行改进,利用Inotify和快照定位生产系统发生变化的文件并且获取文件增量,同时利用Rsync进行远程数据传输,大大降低了容灾系统对服... 针对当前远程数据容灾系统效率比较低的缺点,提出并实现一种远程数据容灾系统(RDBRS);通过对Rsync框架进行改进,利用Inotify和快照定位生产系统发生变化的文件并且获取文件增量,同时利用Rsync进行远程数据传输,大大降低了容灾系统对服务器系统资源的占用,减少了网络传输数据量。实验结果表明,在千兆网络环境下平均灾备速度相对于Rsync有了近10 MBps的提升,对资金相对不充裕的中小企业具有较高的应用价值。 展开更多

关键词 数据容灾 Inotify rsync 快照

在线阅读 下载PDF 职称材料

基于分层哈希编号的智能制造产线数据同步方法 被引量：7

13

作者 燕雪峰 丁叶 《数据采集与处理》 CSCD 北大核心 2020年第5期834-841,共8页

海量数据存储和同步是智能制造产线中的重要问题。当前数据同步的主流方法是远程同步(Remote synchronization,RSYNC)算法,采用同步增量数据的方法减少数据传输量。智能制造产线产生的数据层次结构深、目录结构复杂,导致同步时评估时间... 海量数据存储和同步是智能制造产线中的重要问题。当前数据同步的主流方法是远程同步(Remote synchronization,RSYNC)算法,采用同步增量数据的方法减少数据传输量。智能制造产线产生的数据层次结构深、目录结构复杂,导致同步时评估时间长。为此提出分层哈希编号算法进行同步,基于数据分层对数据文件编号,使用散列表记录层次信息,快速比对差异数据,并对不同类型的差异数据采用不同备份策略。实验结果表明,与标准RSYNC相比,该方法有效减少了RSYNC评估的数据量,有效降低了同步时间,提高了同步备份效率。 展开更多

关键词 远程备份 文件同步 rsync 分层哈希编号表 数据灾备

在线阅读 下载PDF 职称材料

基于Internet/Intranet的文件同步算法在电力企业办公自动化中的应用 被引量：2

14

作者 赵建涛 丁全 《电网技术》 EI CSCD 北大核心 2007年第S1期157-159,共3页

介绍了文件同步理论和Rsync算法,在此基础上提出了客户/服务器模式的文件同步系统网络架构,并分析了客户和服务器端各模块的功能及其关键技术。

关键词 文件同步 文件监视 rsync算法 数据库访问 加密技术

在线阅读 下载PDF 职称材料

基于事件的文件备份方法研究与实现 被引量：5

15

作者 李夷苒 李涛 +1 位作者 胡晓勤 马晓旭 《计算机工程与设计》 CSCD 北大核心 2010年第18期3957-3959,3978,共4页

为了提高文件备份效率,提出了一种基于事件的文件备份方法。通过文件系统过滤驱动,实时监控文件,捕获受监控文件成功的操作信息,转化为程序可识别事件记录到日志。根据日志记录对文件进行分类,再根据对应的策略进行备份,给出了文件监控... 为了提高文件备份效率,提出了一种基于事件的文件备份方法。通过文件系统过滤驱动,实时监控文件,捕获受监控文件成功的操作信息,转化为程序可识别事件记录到日志。根据日志记录对文件进行分类,再根据对应的策略进行备份,给出了文件监控、备份队列生成和差异集重构的方法。实验结果表明,与Rsync相比,该方法有效地降低了文件备份网络流量和计算量,大幅度提高了文件备份的效率。 展开更多

关键词 文件备份 文件系统 过滤驱动 事件 rsync

在线阅读 下载PDF 职称材料

基于重复数据消除的差异备份方法 被引量：2

16

作者 吴晓勇 杨频 +1 位作者 胡晓勤 臧文娟 《计算机工程》 CAS CSCD 北大核心 2010年第21期251-253,共3页

为消除重复数据对数据传输和存储产生的影响,提出一种基于重复数据消除的差异备份方法。通过将文件的块按照一定区间划分固定大小并采用Hash表对文件块进行唯一性标识,使Rsync算法能检测不同文件之间的重复数据,通过分割Hash表,使块实... 为消除重复数据对数据传输和存储产生的影响,提出一种基于重复数据消除的差异备份方法。通过将文件的块按照一定区间划分固定大小并采用Hash表对文件块进行唯一性标识,使Rsync算法能检测不同文件之间的重复数据,通过分割Hash表,使块实现局部匹配,并利用校验和文件实现文件不同版本的差异传输。实验结果表明,与Rsync算法相比,该方法能有效减少传输的数据量,降低备份中心的存储量,提高块查找的效率。 展开更多

关键词 rsync算法 重复数据 区域块长 分组Hash

在线阅读 下载PDF 职称材料

重复数据检测在多版本数据备份中的应用 被引量：4

17

作者 崔兴华 杜晓黎 赵晓睿 《计算机应用研究》 CSCD 北大核心 2009年第1期206-208,220,共4页

分析了当前主要的重复数据检测技术,针对多版本数据的备份/还原过程提出了重复数据检测三级模型,有效地解决了检测粒度和检测开销之间的矛盾,从而减少了多版本数据备份/还原过程中的数据传输量,节省了备份空间。

关键词 数据备份 重复数据检测 rsync算法

在线阅读 下载PDF 职称材料

基于有序哈希链的文件数据同步方法 被引量：2

18

作者 曾畅 蒋文保 郭阳楠 《计算机工程》 CAS CSCD 北大核心 2023年第1期181-190,200,共11页

针对现有文件数据同步传输方法效率低、局部更新困难的问题,提出一种哈希链构建及文件数据同步方法。将C/S架构中服务器端文件或目录的变化作为一系列哈希节点,根据时间先后顺序,通过哈希函数迭代文件或目录的哈希值,形成能够记录文件... 针对现有文件数据同步传输方法效率低、局部更新困难的问题,提出一种哈希链构建及文件数据同步方法。将C/S架构中服务器端文件或目录的变化作为一系列哈希节点,根据时间先后顺序,通过哈希函数迭代文件或目录的哈希值,形成能够记录文件库所有操作状态的有序哈希链。客户端只需根据哈希链节点执行相同文件操作并进行同步更新,而不需要对每个文件数据进行同步认证,确保文件库的完整性、不可抵赖性、可溯源性和防篡改性。采用有序哈希链的同步方法对不同终端进行文件数据差异监视和一致性检测,以快速获取文件变化并进行逻辑同步。实验结果表明,该方法在文件库未变动模式下的平均同步加速比为94.85%,在文件库变动的模式下,相较于“quick check”策略和常规策略的Rsync算法,平均同步加速比分别为6.5%和69.99%。有效地减少了同步过程中时间和资源的消耗。 展开更多

关键词 哈希链 文件同步 数据备份 rsync算法 文件监控

在线阅读 下载PDF 职称材料

一种远程文件同步方法 被引量：9

19

作者 何骞 卓碧华 《计算机应用》 CSCD 北大核心 2012年第2期566-568,共3页

为改进rsync算法在进行远程文件同步时Client和Server端差异数据量较大的缺点,提出一种新的远程文件同步方法。该方法在rsync算法的基础上,利用差异压缩技术,采用块移动技术和KMP算法查找Client和Server端的差异和匹配,使用滑动窗口压... 为改进rsync算法在进行远程文件同步时Client和Server端差异数据量较大的缺点,提出一种新的远程文件同步方法。该方法在rsync算法的基础上,利用差异压缩技术,采用块移动技术和KMP算法查找Client和Server端的差异和匹配,使用滑动窗口压缩算法对差异数据进行压缩,能有效减少差异数据在网络中的流量。实验表明,该方法能将差异量降低97%以上,从而有效减少差异量在网络中的传输量,减小网络带宽消耗,提高远程文件的同步效率。 展开更多

关键词 远程文件同步 rsync算法 差异压缩:块移动 滑动窗口压缩 KMP算法

在线阅读 下载PDF 职称材料

一种基于目录哈希树的磁盘数据同步方法研究 被引量：4

20

作者 李帅 刘晓洁 徐兵 《信息网络安全》 CSCD 北大核心 2019年第2期53-59,共7页

随着云计算的广泛应用,云数据安全已经变得愈发重要。云数据安全一个重要的领域就是云数据容灾备份。而当前各种主流的云平台在数据容灾备份过程中大多使用的是Rsync同步算法。Rsync同步算法是一种高效的文件数据同步算法,但在面对复杂... 随着云计算的广泛应用,云数据安全已经变得愈发重要。云数据安全一个重要的领域就是云数据容灾备份。而当前各种主流的云平台在数据容灾备份过程中大多使用的是Rsync同步算法。Rsync同步算法是一种高效的文件数据同步算法,但在面对复杂的云存储环境时,数据备份大多以磁盘为单元进行。而Rsync同步算法面对数据量大、分区目录结构复杂的磁盘数据时,存在对未变化文件判定效率低下及对新增文件同步效率低下的问题。文章针对这一问题,提出一种基于目录哈希树的磁盘数据同步方法。该方法在保持与原磁盘目录树拓扑结构一致的条件下,通过利用目录哈希树,能够快速确定文件的异同,并对差异文件使用Rsync同步算法,从而实现对新增文件的同步。实验结果表明,该方法与单一使用Rsync的方法相比能更有效地对磁盘数据进行同步,提升了同步效率。 展开更多

关键词 云存储 数据容灾备份 数据同步 rsync 目录哈希树

在线阅读 下载PDF 职称材料