期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
一种正交分解大数据处理系统设计方法及实现
被引量：
12
1
作者
向小佳
赵晓芳
+2 位作者
刘洋
龚关俊
张晗
《计算机研究与发展》
EI
CSCD
北大核心
2017年第5期1097-1108,共12页
MapReduce等计算框架的出现开启了大数据处理新纪元,以Hadoop,Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势,并得到广泛应用.然而,为避免与具体的操作系统、硬件平台绑定,这些系统的设计与优化集中在计算模型、调...
MapReduce等计算框架的出现开启了大数据处理新纪元,以Hadoop,Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势,并得到广泛应用.然而,为避免与具体的操作系统、硬件平台绑定,这些系统的设计与优化集中在计算模型、调度算法等方面,无法充分利用底层平台的优势.提出了一种基于正交分解的大数据处理系统设计与优化方法,将系统分解为松耦合的多个功能正交的模块,使存储、处理功能分离出来,交给能够利用底层平台操作系统甚至硬件资源的存储、执行引擎,原大数据系统退化为调度平台;进而,提出基于锁无关机制的存储底层优化策略和基于指令超级优化的执行引擎底层优化策略.以此为指导,以Hadoop作为兼容和改进的对象,实现了原型大数据处理系统Arion.Arion既能保持Hadoop的跨平台、高可扩展的优势,又能消除任务执行的瓶颈,其本地化的设计与优化手段对非Hadoop平台同样有效.通过在原型系统上的实验证明,Arion能够提升大数据处理任务的执行效率,最高达7.7%.
展开更多
关键词
大数据处理系统
计算框架
本地化
锁无关
超级优化
执行引擎
在线阅读
下载PDF
职称材料
不同网络环境下大数据系统的测试与分析
被引量：
5
2
作者
朱叶青
牛德姣
+1 位作者
蔡涛
何耀
《江苏大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2016年第4期429-437,共9页
为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例...
为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例程等进行了测试.测试结果表明相比使用TCP/IP,使用IPoIB能提高Hadoop的I/O性能4.6-5.6倍,减少Tachyon数据处理的时间开销达2%-27%,减少了Spark 90%-95%的时间开销,同时Spark性能提高了46倍.此外使用RDMA相比IPoIB减少了3%-15%的系统开销.最终分析得出,高速网络架构和高效通讯协议能有效提高大数据处理系统的I/O性能、处理效率和适应能力.
展开更多
关键词
大数据处理系统
网络架构
HADOOP
TACHYON
SPARK
INFINIBAND
IPoIB
RDMA
在线阅读
下载PDF
职称材料
题名
一种正交分解大数据处理系统设计方法及实现
被引量：
12
1
作者
向小佳
赵晓芳
刘洋
龚关俊
张晗
机构
中国科学院计算技术研究所
北方工业大学计算机学院
出处
《计算机研究与发展》
EI
CSCD
北大核心
2017年第5期1097-1108,共12页
基金
国家自然科学基金项目(61202061
61202413)
中国科学院计算技术研究所创新课题项目(20146080)~~
文摘
MapReduce等计算框架的出现开启了大数据处理新纪元,以Hadoop,Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势,并得到广泛应用.然而,为避免与具体的操作系统、硬件平台绑定,这些系统的设计与优化集中在计算模型、调度算法等方面,无法充分利用底层平台的优势.提出了一种基于正交分解的大数据处理系统设计与优化方法,将系统分解为松耦合的多个功能正交的模块,使存储、处理功能分离出来,交给能够利用底层平台操作系统甚至硬件资源的存储、执行引擎,原大数据系统退化为调度平台;进而,提出基于锁无关机制的存储底层优化策略和基于指令超级优化的执行引擎底层优化策略.以此为指导,以Hadoop作为兼容和改进的对象,实现了原型大数据处理系统Arion.Arion既能保持Hadoop的跨平台、高可扩展的优势,又能消除任务执行的瓶颈,其本地化的设计与优化手段对非Hadoop平台同样有效.通过在原型系统上的实验证明,Arion能够提升大数据处理任务的执行效率,最高达7.7%.
关键词
大数据处理系统
计算框架
本地化
锁无关
超级优化
执行引擎
Keywords
big data processing system
computing framework
localization
lock free
super optimization
excecution engine
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
不同网络环境下大数据系统的测试与分析
被引量：
5
2
作者
朱叶青
牛德姣
蔡涛
何耀
机构
江苏大学计算机科学与通信工程学院
出处
《江苏大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2016年第4期429-437,共9页
基金
国家自然科学基金资助项目(61300228)
江苏省自然科学基金资助项目(BK20140570)
+3 种基金
浙江省自然科学基金资助项目(LY13F020012)
江苏省科技厅重点研发计划产业前瞻与共性关键技术项目(BE2015137)
江苏省科技支撑计划项目(BE2013103)
深圳市科技项目(JCYJ20130401095947222)
文摘
为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例程等进行了测试.测试结果表明相比使用TCP/IP,使用IPoIB能提高Hadoop的I/O性能4.6-5.6倍,减少Tachyon数据处理的时间开销达2%-27%,减少了Spark 90%-95%的时间开销,同时Spark性能提高了46倍.此外使用RDMA相比IPoIB减少了3%-15%的系统开销.最终分析得出,高速网络架构和高效通讯协议能有效提高大数据处理系统的I/O性能、处理效率和适应能力.
关键词
大数据处理系统
网络架构
HADOOP
TACHYON
SPARK
INFINIBAND
IPoIB
RDMA
Keywords
big data processing system
network architecture
Hadoop
Tachyon
Spark
Infiniband
IPoIB
RDMA
分类号
TP393.0 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
一种正交分解大数据处理系统设计方法及实现
向小佳
赵晓芳
刘洋
龚关俊
张晗
《计算机研究与发展》
EI
CSCD
北大核心
2017
12
在线阅读
下载PDF
职称材料
2
不同网络环境下大数据系统的测试与分析
朱叶青
牛德姣
蔡涛
何耀
《江苏大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2016
5
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
