期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
3
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于MapReduce的Hadoop大表导入编程模型
被引量：
13
1
作者
陈吉荣
乐嘉锦
《计算机应用》
CSCD
北大核心
2013年第9期2486-2489,2561,共5页
针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长...
针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长度(等于步长),从而保证每个mapper的导入工作量完全相同。该模型的map方式是:进入map函数的键值对中的键是一个split所对应的SQL语句,将查询放在map函数中完成,从而使得模型中的每个mapper只调用一次map函数。对比实验表明:两个记录数相同的大表,无论其记录区间如何分布,其导入时间基本相同,或者对同一表分别用不同的分割字段,导入时间也完全相同;而对于同一个大表,模型的导入效率比Sqoop有显著提高。
展开更多
关键词
编程模型
HADOOP
MAPREDUCE
HADOOP分布式文件系统
sqoop
在线阅读
下载PDF
职称材料
一种关联感知的大数据导入方法
被引量：
2
2
作者
公怀予
徐劲松
王攀
《电信科学》
北大核心
2016年第3期130-134,共5页
针对现有数据库向大数据迁移的背景,Apache推出了Sqoop作为关系数据库向大数据迁移的主要工具。Sqoop简单地将数据表切分并随机存储到不同的节点上。针对Hadoop的这种存储方式带来的关系查询的低效率问题,设计了一种关联度感知的数据导...
针对现有数据库向大数据迁移的背景,Apache推出了Sqoop作为关系数据库向大数据迁移的主要工具。Sqoop简单地将数据表切分并随机存储到不同的节点上。针对Hadoop的这种存储方式带来的关系查询的低效率问题,设计了一种关联度感知的数据导入预处理方法。将关联度较高的表尽量存储在相邻的虚拟机节点,以降低关联数据查询带来的网络传输时延,提高系统的性能。对比实验表明,将关联性较强的数据表存放在相同或相邻节点上,可以成倍提高数据查询的性能。
展开更多
关键词
大数据
sqoop
HADOOP
NOSQL
在线阅读
下载PDF
职称材料
基于大数据的Web个性化推荐系统设计
被引量：
8
3
作者
张婷婷
《现代电子技术》
北大核心
2018年第16期155-158,共4页
为了解决基于数据挖掘技术的Web个性化推荐系统对Web的推荐结果准确率低,反应时间长的问题,设计基于大数据的Web个性化推荐系统。塑造系统组成框架图,设计系统的总体功能包括源数据采集、数据预处理、用户兴趣分析与实现、个性化推荐以...
为了解决基于数据挖掘技术的Web个性化推荐系统对Web的推荐结果准确率低,反应时间长的问题,设计基于大数据的Web个性化推荐系统。塑造系统组成框架图,设计系统的总体功能包括源数据采集、数据预处理、用户兴趣分析与实现、个性化推荐以及推荐引擎。源数据采集利用Sqoop工具将数据库中的数据转移到HDFS中以便H-ICRS算法进行数据提取,并获得推荐的历史数据,实现作为系统上层数据支持的功能。针对分析用户长远和当前的Web兴趣度,分别采用语义分析模型和分片聚类的方法,分析用户Web使用兴趣。塑造单个推荐引擎的推荐引擎架构,得到最终的Web个性化推荐列表。实验结果表明,所设计系统的Web个性化推荐结果准确率高,系统的抗压能力强。
展开更多
关键词
大数据
HADOOP
WEB个性化推荐
系统设计
sqoop
H-ICRS算法
在线阅读
下载PDF
职称材料
题名
基于MapReduce的Hadoop大表导入编程模型
被引量：
13
1
作者
陈吉荣
乐嘉锦
机构
东华大学计算机科学与技术学院
出处
《计算机应用》
CSCD
北大核心
2013年第9期2486-2489,2561,共5页
基金
国家核高基项目(2010ZX01042-001-003)
文摘
针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长度(等于步长),从而保证每个mapper的导入工作量完全相同。该模型的map方式是:进入map函数的键值对中的键是一个split所对应的SQL语句,将查询放在map函数中完成,从而使得模型中的每个mapper只调用一次map函数。对比实验表明:两个记录数相同的大表,无论其记录区间如何分布,其导入时间基本相同,或者对同一表分别用不同的分割字段,导入时间也完全相同;而对于同一个大表,模型的导入效率比Sqoop有显著提高。
关键词
编程模型
HADOOP
MAPREDUCE
HADOOP分布式文件系统
sqoop
Keywords
programming model
Hadoop
MapReduce
Hadoop Distributed File System （HDFS）
sqoop
分类号
TP311.1 [自动化与计算机技术—计算机软件与理论]
TP311.5 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
一种关联感知的大数据导入方法
被引量：
2
2
作者
公怀予
徐劲松
王攀
机构
中国电信股份有限公司济源分公司
南京邮电大学
出处
《电信科学》
北大核心
2016年第3期130-134,共5页
基金
江苏省自然科学基金资助项目(No.BK2009426)
江苏省高校自然科学基金资助项目(No.14KJD520005)
+3 种基金
2013江苏省六大人才高峰计划基金资助项目
2013国家发展和改革委员会信息安全专项基金资助项目
国家电网公司2014年科技项目:电力信息通信网络流量预测和管理智能化关键技术研究及其应用
2015江苏省产学研前瞻性联合研究项目(No.BY2015011-02)~~
文摘
针对现有数据库向大数据迁移的背景,Apache推出了Sqoop作为关系数据库向大数据迁移的主要工具。Sqoop简单地将数据表切分并随机存储到不同的节点上。针对Hadoop的这种存储方式带来的关系查询的低效率问题,设计了一种关联度感知的数据导入预处理方法。将关联度较高的表尽量存储在相邻的虚拟机节点,以降低关联数据查询带来的网络传输时延,提高系统的性能。对比实验表明,将关联性较强的数据表存放在相同或相邻节点上,可以成倍提高数据查询的性能。
关键词
大数据
sqoop
HADOOP
NOSQL
Keywords
big data
sqoop
Hadoop
NoSQL
分类号
TP393 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
基于大数据的Web个性化推荐系统设计
被引量：
8
3
作者
张婷婷
机构
山东管理学院信息工程学院
出处
《现代电子技术》
北大核心
2018年第16期155-158,共4页
基金
国家自然科学基金青年项目(71301086)
山东省社科规划专项基金(17CQXJ11)
山东省高等学校科技计划资助项目(J16LN70)~~
文摘
为了解决基于数据挖掘技术的Web个性化推荐系统对Web的推荐结果准确率低,反应时间长的问题,设计基于大数据的Web个性化推荐系统。塑造系统组成框架图,设计系统的总体功能包括源数据采集、数据预处理、用户兴趣分析与实现、个性化推荐以及推荐引擎。源数据采集利用Sqoop工具将数据库中的数据转移到HDFS中以便H-ICRS算法进行数据提取,并获得推荐的历史数据,实现作为系统上层数据支持的功能。针对分析用户长远和当前的Web兴趣度,分别采用语义分析模型和分片聚类的方法,分析用户Web使用兴趣。塑造单个推荐引擎的推荐引擎架构,得到最终的Web个性化推荐列表。实验结果表明,所设计系统的Web个性化推荐结果准确率高,系统的抗压能力强。
关键词
大数据
HADOOP
WEB个性化推荐
系统设计
sqoop
H-ICRS算法
Keywords
big data
Hadoop
Web personalized recommendation
system design
sqoop
H-ICRS algorithm
分类号
TN919-34 [电子电信—通信与信息系统]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于MapReduce的Hadoop大表导入编程模型
陈吉荣
乐嘉锦
《计算机应用》
CSCD
北大核心
2013
13
在线阅读
下载PDF
职称材料
2
一种关联感知的大数据导入方法
公怀予
徐劲松
王攀
《电信科学》
北大核心
2016
2
在线阅读
下载PDF
职称材料
3
基于大数据的Web个性化推荐系统设计
张婷婷
《现代电子技术》
北大核心
2018
8
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
