期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
单机下Hadoop小文件处理性能分析
被引量：
9
1
作者
袁玉
崔超远
+1 位作者
乌云
陈祝红
《计算机工程与应用》
CSCD
2013年第3期57-60,共4页
Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异。从Had...
Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异。从Hadoop的工作流程和原理上解释了出现此性能差异的原因。通过分析得出多个小文件整合为一个数据片split有助于改善Hadoop处理小文件性能。
展开更多
关键词
HADOOP
Hadoop的分布式
文件
系统(HDFS)
MAPREDUCE
小
文件
处理
文件输入格式
在线阅读
下载PDF
职称材料
题名
单机下Hadoop小文件处理性能分析
被引量：
9
1
作者
袁玉
崔超远
乌云
陈祝红
机构
中国科学院研究生院计算与通信工程学院
中国科学院合肥智能机械研究所
中国科技大学信息科学技术学院
出处
《计算机工程与应用》
CSCD
2013年第3期57-60,共4页
基金
国家自然科学基金(No.31171456)
文摘
Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异。从Hadoop的工作流程和原理上解释了出现此性能差异的原因。通过分析得出多个小文件整合为一个数据片split有助于改善Hadoop处理小文件性能。
关键词
HADOOP
Hadoop的分布式
文件
系统(HDFS)
MAPREDUCE
小
文件
处理
文件输入格式
Keywords
Hadoop
Hadoop Distributed File System（HDFS）
MapReduce
small files handling
FileInputFormat
分类号
TP316 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
单机下Hadoop小文件处理性能分析
袁玉
崔超远
乌云
陈祝红
《计算机工程与应用》
CSCD
2013
9
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
