NGridFTP:一种基于GridFTP的网格数据传输工具

1

作者 任勋益 王汝传 张羽 《计算机科学》 CSCD 北大核心 2009年第9期148-150,175,共4页

网格数据传输协议GridFTP提供了安全可靠地传输大量数据的能力。但是目前的最新网格中间件GT4中,GridFTP只提供了一些命令和API,一般用户使用GridFTP很不方便。在研究GT4 GridFTP的基础上,借助JavaCoG设计和实现了一个可视化的网格数据... 网格数据传输协议GridFTP提供了安全可靠地传输大量数据的能力。但是目前的最新网格中间件GT4中,GridFTP只提供了一些命令和API,一般用户使用GridFTP很不方便。在研究GT4 GridFTP的基础上,借助JavaCoG设计和实现了一个可视化的网格数据传输工具——NGridFTP。NGridFTP实现了网格数据的上传下载、并行传输、三方传输等主要功能。对大数据的并行传输实验表明,NGridFTP并行传输比传统传输具有优势,但在并行模型下,增加并行数并没有提高传输速度。 展开更多

关键词 网格计算 gridftp 数据传输 Ngridftp

在线阅读 下载PDF 职称材料

基于GridFTP的数据传输设计与实现 被引量：7

2

作者 应宏 李梦蛟 +2 位作者 刘福明 钟静 鄢沛 《计算机科学》 CSCD 北大核心 2006年第5期146-147,155,共3页

GridFTP 是 Globus 网格计算环境中数据管理的一个通用的数据传输协议,具有支持 GSI 的安全机制、三方控制、并行传输等功能。通过对 GridFTP 协议的分析,描述了三方控制数据传输体系结构,设计了 GridFTP 客户端控制软件,详细介绍了基于... GridFTP 是 Globus 网格计算环境中数据管理的一个通用的数据传输协议,具有支持 GSI 的安全机制、三方控制、并行传输等功能。通过对 GridFTP 协议的分析,描述了三方控制数据传输体系结构,设计了 GridFTP 客户端控制软件,详细介绍了基于 GridFTP 数据传输的安全认证、数据传输过程和客户端三方控制数据传输的实现。 展开更多

关键词 gridftp 数据传输 三方传输 并行传输

在线阅读 下载PDF 职称材料

基于网格服务的GridFTP传输性能的研究 被引量：6

3

作者 宋丽华 刘方爱 张凤娟 《计算机工程与设计》 CSCD 北大核心 2009年第6期1335-1338,共4页

利用GT4提供的网格服务功能研究了基于网格服务的GridFTP数据传输的性能,分别在关闭网格服务环境下和开启网格服务环境下,观察利用GridFTP进行不同文件类型和大小的数据传输情况,分析了网格服务对GridFTP数据传输的影响,并针对目前Grid... 利用GT4提供的网格服务功能研究了基于网格服务的GridFTP数据传输的性能,分别在关闭网格服务环境下和开启网格服务环境下,观察利用GridFTP进行不同文件类型和大小的数据传输情况,分析了网格服务对GridFTP数据传输的影响,并针对目前GridFTP进行跨异构平台传输过程中存在的问题,提出了几种改进方法。实验结果表明,将网格服务应用于Grid-FTP数据传输,可以改善其传输性能,提高其传输质量。 展开更多

关键词 gridftp 开放网格服务体系结构 网格服务 GlobusToolkit4 代理-存根模型

在线阅读 下载PDF 职称材料

GridFTP传输性能分析 被引量：6

4

作者 刘鹏展 刘亮 杨寿保 《计算机工程与应用》 CSCD 北大核心 2005年第15期138-140,共3页

网格环境中,数据的传输是一个基本的问题,该文研究了GridFTP的特点,根据其特点,提出若干可以改进数据性能的方法。对其在不同条件下的数据传输性能分别作了测试,实验证明,该文所提出的提高数据传输性能的方法是有效的,同时,还指出了Grid... 网格环境中,数据的传输是一个基本的问题,该文研究了GridFTP的特点,根据其特点,提出若干可以改进数据性能的方法。对其在不同条件下的数据传输性能分别作了测试,实验证明,该文所提出的提高数据传输性能的方法是有效的,同时,还指出了GridFTP在提高数据传输性能时要注意的问题和受到的限制。 展开更多

关键词 数据网格 gridftp 数据传输

在线阅读 下载PDF 职称材料

GridFTP数据传输模型研究 被引量：2

5

作者 应宏 刘福明 +2 位作者 黄河 钟静 鄢沛 《计算机应用与软件》 CSCD 北大核心 2008年第4期64-65,105,共3页

通过分析传统C/S数据传输模型的不足,介绍了GridFTP第三方控制数据传输的概念、模型结构和工作流程。在此基础上,深入研究了GridFTP基于可靠文件传输RFT(Reliable File Transfer)服务的第三方控制数据传输的模型结构、RFT服务架构、实... 通过分析传统C/S数据传输模型的不足,介绍了GridFTP第三方控制数据传输的概念、模型结构和工作流程。在此基础上,深入研究了GridFTP基于可靠文件传输RFT(Reliable File Transfer)服务的第三方控制数据传输的模型结构、RFT服务架构、实现细节以及扩展数据块工作模式,指出GridFTP协议能够满足网格平台数据传输的需要。 展开更多

关键词 gridftp 数据传输模型 第三方控制 RFT服务 扩展模式

在线阅读 下载PDF 职称材料

ASON光网格中基于GridFTP的资源并行调度机制 被引量：1

6

作者 吴润泽 纪越峰 《光通信技术》 CSCD 北大核心 2009年第4期5-8,共4页

为解决面向应用驱动的网格资源动态分配,提出基于ASON的光网格模型,在此基础上提出面向GridFTP服务的并行网络资源调度机制。并行资源调度借助于光资源控制系统提供网格应用中并行通道数据传输,在网格应用驱动下实现网络资源的动态按需... 为解决面向应用驱动的网格资源动态分配,提出基于ASON的光网格模型,在此基础上提出面向GridFTP服务的并行网络资源调度机制。并行资源调度借助于光资源控制系统提供网格应用中并行通道数据传输,在网格应用驱动下实现网络资源的动态按需分配,提高了光资源利用效率及海量数据传输能力。通过构建基于ASON的光网格平台体系,执行GridFTP文件传输应用服务以验证所提模型和资源调度机制。 展开更多

关键词 光网格 ASON gridftp 网格用户网络接口 资源并行调度

在线阅读 下载PDF 职称材料

基于GridFTP的并行数据传输性能分析与研究 被引量：2

7

作者 李莎 杨明 +1 位作者 马晓雷 刘元安 《计算机工程与应用》 CSCD 北大核心 2008年第30期135-137,172,共4页

分析论述了广域网格网络中数据传输的需求以及网格数据传输协议—GridFTP的性能特点,对GridFTP中最重要的并行传输机制进行了探讨。通过大量实验测试对不同并行度下数据传输的时间、带宽、吞吐量、数据传输总量等性能参数进行了比较,讨... 分析论述了广域网格网络中数据传输的需求以及网格数据传输协议—GridFTP的性能特点,对GridFTP中最重要的并行传输机制进行了探讨。通过大量实验测试对不同并行度下数据传输的时间、带宽、吞吐量、数据传输总量等性能参数进行了比较,讨论了并行度对传输性能的影响,提出了并行传输机制在提高传输性能方面的局限和值得注意的问题。 展开更多

关键词 网格数据传输协议(gridftp) 并行数据传输 并行度 吞吐量

在线阅读 下载PDF 职称材料

通过V-GridFTP提高数据访问性能 被引量：1

8

作者 胡小龙 刘强 《计算机工程与应用》 CSCD 北大核心 2004年第1期112-115,共4页

数据网格需要文件传输服务(FTP)。但是,目前数据网格中使用的FTP服务具有存储内容独立的局限性,这一局限性造成了诸如数据定位困难、服务器之间负荷不均衡等问题。该文提出了V-GridFTP的概念,将原本内容独立的物理服务器联结起来协同工... 数据网格需要文件传输服务(FTP)。但是,目前数据网格中使用的FTP服务具有存储内容独立的局限性,这一局限性造成了诸如数据定位困难、服务器之间负荷不均衡等问题。该文提出了V-GridFTP的概念,将原本内容独立的物理服务器联结起来协同工作,在信息服务的协助下,通过数据分区、复制以及GridFTP等技术,实现了资源分布动态自适应调整,为用户提供高性能、高可用性、高可靠性的FTP服务。这里开发了一个原型系统。测试显示系统运行良好。 展开更多

关键词 数据网络 gridftp BLOOM FILTER 数据分区

在线阅读 下载PDF 职称材料

GridFTP协议中文件传输的研究及实现 被引量：2

9

作者 陈文军 梁鸿 《科学技术与工程》 2009年第7期1951-1954,共4页

GridFTP作为网格环境中安全高效的数据传输协议,是对标准FTP协议的扩展。介绍了GridFTP的功能及特点,分析了该协议的数据传输模型,并在网格环境下实现了简单的文件传输功能,证明该协议能够满足数据网格传输平台的需要。

关键词 网格 gridftp 数据传输

在线阅读 下载PDF 职称材料

GridFTP多种数据传输模式的设计 被引量：1

10

作者 应宏 刘福明 黄河 《计算机工程与设计》 CSCD 北大核心 2008年第15期3895-3897,共3页

GridFTP是Globus项目组开发的一个用于支持网格远程数据传输的一种基本的数据访问和数据传输协议,它支持多种形式的数据传输。研究了并行数据传输、条状数据传输和第三方控制数据传输的传输模式、传输过程,讨论了3种传输模式的适用范围... GridFTP是Globus项目组开发的一个用于支持网格远程数据传输的一种基本的数据访问和数据传输协议,它支持多种形式的数据传输。研究了并行数据传输、条状数据传输和第三方控制数据传输的传输模式、传输过程,讨论了3种传输模式的适用范围和特点,以及实现并行传输、条状传输的主要代码,最后在第三方控制模式下,结合并行传输和条状传输,仿真实现了第三方控制数据传输。 展开更多

关键词 网格文件传输协议 并行传输 条状传输 第三方控制数据传输

在线阅读 下载PDF 职称材料

数据网格环境中数据传输服务的研究与实现 被引量：17

11

作者 黄斌 彭小宁 +1 位作者 肖侬 刘波 《计算机应用研究》 CSCD 北大核心 2004年第10期212-214,共3页

通过对GridFTP作部分修改,实现了独立于Globus环境的、高性能、可靠的数据网格中的数据传输服务,它具有支持基础的安全机制、并行传输、三方传输等功能。剖析了GridFTP,详细介绍了基于GridFTP数据网格环境中的数据传输服务实例。

关键词 数据网格:数据传输 gridftp 三方传输 并行传输

在线阅读 下载PDF 职称材料

一种数据网格容灾存储模型及其数据失效模型 被引量：10

12

作者 曲明成 吴翔虎 +3 位作者 廖明宏 张银 杨孝宗 左德承 《电子学报》 EI CAS CSCD 北大核心 2010年第2期315-320,共6页

可靠性较高的数据网格多采用双副本容灾可以保证节点在灾难发生时进行有效恢复,但由于节点数据存储量较大,当节点发生灾难时,从一个节点进行数据恢复速度较慢,导致在数据恢复期备份节点发生失效的概率较大.针对这些问题,本文给出一个容... 可靠性较高的数据网格多采用双副本容灾可以保证节点在灾难发生时进行有效恢复,但由于节点数据存储量较大,当节点发生灾难时,从一个节点进行数据恢复速度较慢,导致在数据恢复期备份节点发生失效的概率较大.针对这些问题,本文给出一个容灾存储模型,基于该模型推导出一个数据失效模型,理论证明该失效模型的数据失效概率明显小于双副本容灾方式的数据失效概率,同时在灾难发生时又能达到较快的恢复速度.设计了仿真实验,将模型的数据失效概率与双副本失效概率进行了比较,实验结果与理论推导一致,证明了存储模型和数据失效模型的正确性和有效性.最后给出进一步研究思路. 展开更多

关键词 数据网格容灾 存储模型 数据失效模型 并行数据传输 gridftp

在线阅读 下载PDF 职称材料

基于网格服务的网格环境下数据传输 被引量：5

13

作者 刘骥 王茜 《计算机科学》 CSCD 北大核心 2006年第1期56-59,68,共5页

网格环境下的数据访问需要一种能够跨异构平台进行数据传输的机制,但是,现有的 GridFTP 协议存在某些情况下无法跨防火墙进行数据传输的局限。为解决这一问题,论文提出了一种基于网格服务进行数据传输的方法,使用数据压缩、并行数据传... 网格环境下的数据访问需要一种能够跨异构平台进行数据传输的机制,但是,现有的 GridFTP 协议存在某些情况下无法跨防火墙进行数据传输的局限。为解决这一问题,论文提出了一种基于网格服务进行数据传输的方法,使用数据压缩、并行数据传输、缓冲区调整技术改善了该传输方法的性能;基于传输日志实现了故障恢复,提高了数据传输的可靠性。最后使用 Globus 工具集实现了这种数据传输方法,并进行了传输性能的分析。 展开更多

关键词 网格 网格服务 Web服务 gridftp 数据传输 网格环境 GLOBUS 传输方法 传输性能 FTP协议

在线阅读 下载PDF 职称材料

一种数据网格存储模型与并行下载调度算法 被引量：2

14

作者 曲明成 吴翔虎 +2 位作者 廖明宏 杨孝宗 左德承 《高技术通讯》 EI CAS CSCD 北大核心 2010年第1期26-32,共7页

针对在数据网格中创建多副本虽可有效提升下载速度、降低网络流量,但多副本创建会带来大量存储开销和网络流量开销,以及基于GridFTP协议的各种并行下载算法虽可进一步提升下载速度,但仍不能解决多副本对存储空间和网络流量的影响的问题... 针对在数据网格中创建多副本虽可有效提升下载速度、降低网络流量,但多副本创建会带来大量存储开销和网络流量开销,以及基于GridFTP协议的各种并行下载算法虽可进一步提升下载速度,但仍不能解决多副本对存储空间和网络流量的影响的问题,提出了一个能保证数据的完整性、存储的可靠性和降低存储空间的数据网格存储模型,并基于该存储模型和GridFTP协议,提出了一个并行下载调度算法。实验表明,该算法只需要较少的冗余便可达到现有的针对全副本的并行下载算法可达到的理想下载速度,取得较好的效果,实现并行快速传输、节约存储空间和降低网络流量的目标。 展开更多

关键词 数据网格 存储模型 并行下载调度算法 gridftp

在线阅读 下载PDF 职称材料

基于网格的分布式异构平台数据传输机制探讨 被引量：2

15

作者 袁满 张士迁 +2 位作者 刘雪梅 郭玲玲 李瑞芳 《大庆石油学院学报》 CAS 北大核心 2005年第6期109-111,共3页

研究了开放网格体系框架模型Globus;讨论了基于网格环境的数据传输机制,在此基础上,设计了基于异构环境的数据传输原型,实现了在网格环境的文件传输;解决了Globus命令行操作界面的不足以及跨平台数据传输问题.

关键词 OGSA GLOBUS gridftp CA

在线阅读 下载PDF 职称材料

基于网格的地理空间数据传输策略研究 被引量：3

16

作者 张立朝 王青山 +3 位作者 郑海鹰 潘贞 张世全 赵鹏 《测绘通报》 CSCD 北大核心 2008年第6期37-40,共4页

地理空间数据传输是构建网格GIS的基础。从网格GIS服务的构建、地理空间数据传输协议、地理空间数据传输格式、地理空间数据传输安全机制以及地理空间数据传输速度等方面,对网格在地理空间数据传输中的应用进行研究,提出基于Grid的地理... 地理空间数据传输是构建网格GIS的基础。从网格GIS服务的构建、地理空间数据传输协议、地理空间数据传输格式、地理空间数据传输安全机制以及地理空间数据传输速度等方面,对网格在地理空间数据传输中的应用进行研究,提出基于Grid的地理数据网络传输策略。最后通过网络评估和网络负载平衡,提出GridFTP与HTTP协议相结合的地理空间数据快速传输方案。 展开更多

关键词 网格GIS服务 安全机制 gridftp协议 网络评估 负载平衡

在线阅读 下载PDF 职称材料

基于网格的远程教育资源共享机制研究 被引量：1

17

作者 归达伟 《现代电子技术》 2010年第18期94-96,100,共4页

目前远程教育资源建设还处在初步阶段,各教育机构存在教育资源重复建设,质量参差不齐的现象,造成了财力、人力的重复投入。随着网格技术的广泛应用,在此依靠网格对分布的数据资源进行统一共享和管理。现以广播电视大学远程教育资源建设... 目前远程教育资源建设还处在初步阶段,各教育机构存在教育资源重复建设,质量参差不齐的现象,造成了财力、人力的重复投入。随着网格技术的广泛应用,在此依靠网格对分布的数据资源进行统一共享和管理。现以广播电视大学远程教育资源建设为原型,构建了广播电视大学远程教育资源网格,从而达到了共享各种教学资源,整合各种教学服务的目的。 展开更多

关键词 远程教育资源 网格 WSRF GLOBUS gridftp

在线阅读 下载PDF 职称材料

Vega Hotfile——一种网格文件管理协议的设计与实现

18

作者 曹立强 查礼 余海燕 《计算机研究与发展》 EI CSCD 北大核心 2004年第12期2218-2223,共6页

网格中的数据传输工具主要有GridFTP和GASS ,但是GridFTP并非针对面向服务的网格体系结构设计 ,其部署、配置和管理困难 ,缺乏动态性和可扩展性 ;GT3中的另一个数据传输工具GASS由于传输过程延迟高 ,计算开销大而无法真正应用 因此基于... 网格中的数据传输工具主要有GridFTP和GASS ,但是GridFTP并非针对面向服务的网格体系结构设计 ,其部署、配置和管理困难 ,缺乏动态性和可扩展性 ;GT3中的另一个数据传输工具GASS由于传输过程延迟高 ,计算开销大而无法真正应用 因此基于WebServices与Servlet技术开发了一个数据传输协议 ,它不仅与网格面向服务的体系结构兼容 ,还减少了服务间由于XML消息传递带来的传输性能损失 ;授权之后的网格用户可以在Vega服务网格环境中动态地部署、维护、使用与卸载这种协议 测试表明 。 展开更多

关键词 网格 VEGA 数据服务 gridftp

在线阅读 下载PDF 职称材料

Hadoop海量数据迁移系统开发及应用 被引量：16

19

作者 尹乔 魏占辰 +2 位作者 黄秋兰 孙功星 石京燕 《计算机工程与应用》 CSCD 北大核心 2019年第13期66-71,共6页

当前高能物理实验产生的数据量越来越大,利用大数据处理平台Hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、归档等需求出发,设计... 当前高能物理实验产生的数据量越来越大,利用大数据处理平台Hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、归档等需求出发,设计和实现了一个通用的海量数据迁移系统,通过扩展HDFS数据访问方式,使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外,系统设计实现了动态优先级调度模型,进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站(LHAASO)宇宙线等物理实验中的数据迁移,实际运行结果表明系统性能良好,能够满足各个实验的数据迁移需求。 展开更多

关键词 高能物理 数据迁移 gridftp协议 动态优先级调度 多属性决策 Hadoop系统

在线阅读 下载PDF 职称材料

网格环境下多副本带状数据传输的实现 被引量：2

20

作者 杨欢 欧佳凡 黄林鹏 《计算机应用与软件》 CSCD 北大核心 2006年第11期54-55,95,共3页

介绍了网格环境下数据可靠高速传输的一种实现方法,它能同时使用多种数据传输协议从多个数据服务器进行带状传输。另外,还通过数学模型分析了影响传输性能的因素,并讨论了提高传输性能的几种负载平衡策略。

关键词 gridftp 带状传输 负载平衡

在线阅读 下载PDF 职称材料