期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
HyDB:集成MapReduce和数据库的高效SaaS架构
被引量：
5
1
作者
覃左言
朱青
李伏
《小型微型计算机系统》
CSCD
北大核心
2012年第3期512-518,共7页
随着数据的快速增长和云计算的兴起,软件作为服务(SaaS)标志着计算机系统按需服务的应用的兴起.高效经济SaaS使得许多企业将大规模数据分析服务从部署在并行数据库的高端服务器转移至更便宜的无共享体系结构的低端服务器集群上.论文提...
随着数据的快速增长和云计算的兴起,软件作为服务(SaaS)标志着计算机系统按需服务的应用的兴起.高效经济SaaS使得许多企业将大规模数据分析服务从部署在并行数据库的高端服务器转移至更便宜的无共享体系结构的低端服务器集群上.论文提出了集成MapReduce和数据库的高效经济SaaS架构—HyDB系统,解决海量结构化,半结构化与非结构化数据的高效查询服务,通过对数据的存储模型和查询模型进行研究,提出了完整的数据存储和查询服务方案,给出基于队列的作业调度算法,并支持针对简约数据查询的快速响应模式.最后通过可扩展实验,证明了该系统架构具有良好的加载性能、查询性能和容错能力,可以为用户提供优质的数据服务.
展开更多
关键词
MAPREDUCE
数据库
SaaS架构
独立
水平切分
协同
水平切分
作业调度
在线阅读
下载PDF
职称材料
一种基于Storm平台的ETL方案实现
被引量：
2
2
作者
梁奎奎
《计算机科学》
CSCD
北大核心
2019年第S11期208-211,240,共5页
随着互联网在各个领域的不断发展,数据开始呈现结构多样化与体积海量化。面对海量数据的冲击,如何提高ETL的效率至关重要。针对“信息孤岛”中数据来源及格式皆不统一、数据采集实时性差的问题,提出垂直切分ETL工作流和水平切分待处理...
随着互联网在各个领域的不断发展,数据开始呈现结构多样化与体积海量化。面对海量数据的冲击,如何提高ETL的效率至关重要。针对“信息孤岛”中数据来源及格式皆不统一、数据采集实时性差的问题,提出垂直切分ETL工作流和水平切分待处理数据集,建立一种基于Storm平台的流式ETL处理方案。同时,针对Storm在进行任务分配时对工作节点CPU负载不敏感的缺点,通过定时任务记录工作节点的CPU负载信息,对Storm调度器的slot分配方式进行优化,使得Storm集群的负载更加均衡。实验结果证明该方案可有效提高ETL的处理效率,同时针对slot分配优化可有效地提高系统稳定性与处理效率。
展开更多
关键词
ETL
垂直
切分
水平切分
STORM
负载优化
在线阅读
下载PDF
职称材料
题名
HyDB:集成MapReduce和数据库的高效SaaS架构
被引量：
5
1
作者
覃左言
朱青
李伏
机构
中国人民大学数据工程与知识工程教育部重点实验室
中国人民大学信息学院
出处
《小型微型计算机系统》
CSCD
北大核心
2012年第3期512-518,共7页
基金
国家自然科学基金项目(61070053)资助
上海市高可信计算重点实验室开放课题项目(07dz22304)资助
文摘
随着数据的快速增长和云计算的兴起,软件作为服务(SaaS)标志着计算机系统按需服务的应用的兴起.高效经济SaaS使得许多企业将大规模数据分析服务从部署在并行数据库的高端服务器转移至更便宜的无共享体系结构的低端服务器集群上.论文提出了集成MapReduce和数据库的高效经济SaaS架构—HyDB系统,解决海量结构化,半结构化与非结构化数据的高效查询服务,通过对数据的存储模型和查询模型进行研究,提出了完整的数据存储和查询服务方案,给出基于队列的作业调度算法,并支持针对简约数据查询的快速响应模式.最后通过可扩展实验,证明了该系统架构具有良好的加载性能、查询性能和容错能力,可以为用户提供优质的数据服务.
关键词
MAPREDUCE
数据库
SaaS架构
独立
水平切分
协同
水平切分
作业调度
Keywords
MapReduce
database
SaaS architecture
independent partition
co-located partition
job schedule
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
一种基于Storm平台的ETL方案实现
被引量：
2
2
作者
梁奎奎
机构
浙江工业大学计算机科学与技术学院
出处
《计算机科学》
CSCD
北大核心
2019年第S11期208-211,240,共5页
文摘
随着互联网在各个领域的不断发展,数据开始呈现结构多样化与体积海量化。面对海量数据的冲击,如何提高ETL的效率至关重要。针对“信息孤岛”中数据来源及格式皆不统一、数据采集实时性差的问题,提出垂直切分ETL工作流和水平切分待处理数据集,建立一种基于Storm平台的流式ETL处理方案。同时,针对Storm在进行任务分配时对工作节点CPU负载不敏感的缺点,通过定时任务记录工作节点的CPU负载信息,对Storm调度器的slot分配方式进行优化,使得Storm集群的负载更加均衡。实验结果证明该方案可有效提高ETL的处理效率,同时针对slot分配优化可有效地提高系统稳定性与处理效率。
关键词
ETL
垂直
切分
水平切分
STORM
负载优化
Keywords
ETL
Vertical segmentation
Horizontal segmentation
Storm
Load optimization
分类号
TP399 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
HyDB:集成MapReduce和数据库的高效SaaS架构
覃左言
朱青
李伏
《小型微型计算机系统》
CSCD
北大核心
2012
5
在线阅读
下载PDF
职称材料
2
一种基于Storm平台的ETL方案实现
梁奎奎
《计算机科学》
CSCD
北大核心
2019
2
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
