-
题名一种适应数据与计算密集型任务的私有云系统实现研究
被引量：18
- 1
-
-
作者
杨志豪
赵太银
姚兴苗
李磊
-
机构
宽带光纤传感与通信教育部重点实验室
川庆钻探工程有限公司地球物理勘探公司
-
出处
《计算机应用研究》
CSCD
北大核心
2011年第2期621-624,共4页
-
基金
国家自然科学基金重点资助项目(40839905)
现代通信国家重点实验室基金资助项目(9140C1104040904)
-
文摘
与公有云计算相比,针对数据与计算双重密集型任务的私有云计算系统对计算效率和系统管理效率提出了更高的要求,目前的公有云计算系统显得过于复杂和繁琐,因此需要一种简便易用的能够适应数据与计算密集型任务的私有云计算系统实现。借鉴公有云计算的相关理论和实现方法,提出了一种针对数据与计算双重密集型任务的私有云计算系统实现方案。该方案通过作业文件描述用户的计算任务,确定计算任务的计算模型和计算的输入输出文件;针对私有云的特点,简化Google云计算系统的MapReduce并行处理框架,得到更加直观的数据计算模型;自动连接计算数据流,使该方案更加精简和适应处理数据与计算双重密集型任务。实验结果表明:该方案能够减少额外的计算消耗,处理速度能得到显著提升,有很高的实用性。
-
关键词
数据与计算双重密集型任务
私有云
云计算
并行计算
-
Keywords
data and computing intensive task
private cloud
cloud computing
parallel computing
-
分类号
TP315
[自动化与计算机技术—计算机软件与理论]
-
-
题名数据和计算密集混合元任务的网格调度算法
被引量：5
- 2
-
-
作者
查礼
徐志伟
林国璋
刘玉树
-
机构
北京理工大学计算机科学与工程系
中国科学院计算技术研究所
-
出处
《计算机工程与设计》
CSCD
2003年第10期1-4,共4页
-
基金
国家杰出青年科学基金资助项目(69925205)
-
文摘
网格计算技术是继Internet计算之后出现的新兴研究领域。网格系统由异构的资源组成,一个好的任务调度方法可以充分利用网格系统的处理能力,减少任务的完成时间。根据目前网格系统的使用模式,提出了符合实际的用户任务形式,即任务由数据传输和计算两部分组成,计算在获得所有输入之后开始执行。多个这样的独立任务组成元任务,作为调度程序的最小执行单位。在实际应用中,元任务应该由数据密集型和计算密集型任务混合组成。考虑到数据传输和计算的比例关系对元任务完成的影响,提出一种新的调度算法TCR,通过提高计算资源的利用率以及任务间的并行度,减少元任务的完成时间。详细介绍了该算法,并通过模拟结果的对比验证了该算法的良好性能。
-
关键词
网格资源
Internet
网格调度算法
网络连接
任务调度
元任务
数据密集型
计算密集
-
Keywords
schedule
grid
metatask
makespan
simulation
-
分类号
TP393.4
[自动化与计算机技术—计算机应用技术]
-
-
题名云环境下面向数据密集型应用的数据选择策略研究
被引量：1
- 3
-
-
作者
杜薇
崔国华
刘伟
石飞燕
位凯志
-
机构
华中科技大学计算机科学与技术学院
武汉理工大学计算机科学与技术学院
南京大学计算机软件新技术国家重点实验室
武汉大学软件工程国家重点实验室
-
出处
《计算机科学》
CSCD
北大核心
2012年第6期30-34,71,共6页
-
基金
国家自然科学基金(60703048)
南京大学计算机软件新技术国家重点实验室开放基金(KFKT2009B22)
武汉大学软件工程国家重点实验室开发基金(SKLSE20080720)资助
-
文摘
云环境下独立任务包数据密集型应用已出现在多个领域。鉴于多数据中心环境和"按需付费"的资源使用模式,这类应用在数据选择方面面临着新的挑战,主要表现为如何从内容相同但位置和访问成本均不同的数据集中选择合适的数据资源作为应用的输入。针对该问题,首先构建云环境和数据选择问题模型。在此基础上,将成本最小化的数据选择过程抽象为带权重集合的覆盖问题,提出一种新的数据选择策略,以在执行效率和经济成本间取得平衡。实验结果显示,提出的数据选择策略在保证成本优化的同时兼顾了执行效率,综合性能良好。
-
关键词
云计算
独立任务包
数据密集型应用
数据选择
带权重集合覆盖
-
Keywords
Cloud computing
Bag-of-Tasks
Data-intensive application
Data selection
Weighted set covering
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名数据层可配置任务生成方法及其应用研究
被引量：1
- 4
-
-
作者
刘明铭
程仁洪
-
机构
南开大学软件学院
-
出处
《计算机工程》
CAS
CSCD
2013年第4期27-31,共5页
-
文摘
为提高数据层的任务处理性能,提出一种可配置任务生成方法。通过分析数据库运行日志和跟踪信息,按照负载时空特性生成数据层任务处理脚本,并获取对应的资源消耗模式和关键任务处理性能。测试结果表明,该方法可以模拟实际应用系统的执行情况,由此获得服务器资源占用率,该资源占用率与实际资源占用率之间的误差可线性消除,为数据库服务器容量规划、存储结构设计、关键功能设计、性能优化,以及云计算平台资源实现和计算能力按需优化配置提供依据。
-
关键词
负载特性
资源消耗
承载能力
容量规划
资源整合
数据与计算双重密集型任务
-
Keywords
load characteristic
resource consumption
carrying capacity
capacity planning
resource integration
data andcomputing double intensive task
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
