期刊文献+
共找到678篇文章
< 1 2 34 >
每页显示 20 50 100
MapReduce编程模型下的约束频繁模式挖掘算法 被引量:2
1
作者 闫晓妩 张继福 +1 位作者 荀亚玲 赵旭俊 《小型微型计算机系统》 CSCD 北大核心 2015年第10期2257-2261,共5页
约束频繁模式是利用用户给定的约束条件,生成的一种频繁模式,具有针对性强、挖掘效率高等特点.随着数据量的增大,约束频繁模式生成过程存在着占用内存大和I/O代价高等问题,难以适用于海量高维数据集.采用MapReduce编程模型,给出一种约... 约束频繁模式是利用用户给定的约束条件,生成的一种频繁模式,具有针对性强、挖掘效率高等特点.随着数据量的增大,约束频繁模式生成过程存在着占用内存大和I/O代价高等问题,难以适用于海量高维数据集.采用MapReduce编程模型,给出一种约束频繁模式并行挖掘MCFP算法.该算法首先,采用三对Map和Reduce函数实现了将数据中事务映射为频繁项计数、构建约束频繁模式树和生成约束频繁模式,以及频繁模式聚合等主要步骤;其次,根据频繁项支持度,迁移数据记录,有效地实现了频繁模式生成过程中的负载均衡;最后,采用天体光谱数据,实验验证了该算法的有效性、可伸缩性和可扩展性. 展开更多
关键词 约束频繁模式 mapreduce编程模型 CFP—Tree 支持度 负载均衡
在线阅读 下载PDF
MapReduce并行编程模型研究综述 被引量:189
2
作者 李建江 崔健 +2 位作者 王聃 严林 黄义双 《电子学报》 EI CAS CSCD 北大核心 2011年第11期2635-2642,共8页
MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成... MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望. 展开更多
关键词 mapreduce 并行编程模型 运行时支持库 海量数据处理
在线阅读 下载PDF
MapReduce:新型的分布式并行计算编程模型 被引量:113
3
作者 李成华 张新访 +1 位作者 金海 向文 《计算机工程与科学》 CSCD 北大核心 2011年第3期129-135,共7页
MapReduce是Google提出的分布式并行计算编程模型,用于大规模数据的并行处理。Ma-pReduce模型受函数式编程语言的启发,将大规模数据处理作业拆分成若干个可独立运行的Map任务,分配到不同的机器上去执行,生成某种格式的中间文件,再由若干... MapReduce是Google提出的分布式并行计算编程模型,用于大规模数据的并行处理。Ma-pReduce模型受函数式编程语言的启发,将大规模数据处理作业拆分成若干个可独立运行的Map任务,分配到不同的机器上去执行,生成某种格式的中间文件,再由若干个Reduce任务合并这些中间文件获得最后的输出文件。用户在使用MapReduce模型进行大规模数据处理时,可以将主要精力放在如何编写Map和Reduce函数上,其它并行计算中的复杂问题诸如分布式文件系统、工作调度、容错、机器间通信等都交给MapReduce系统处理,在很大程度上降低了整个编程难度。MapReduce日益成为云计算平台的主流编程模型。Apache Hadoop项目提供开源的MapReduce系统还有待进一步完善。 展开更多
关键词 mapreduce 并行计算编程模型 云计算
在线阅读 下载PDF
MapReduce并行编程模型研究综述 被引量:24
4
作者 杜江 张铮 +1 位作者 张杰鑫 邰铭 《计算机科学》 CSCD 北大核心 2015年第S1期537-541 564,564,共6页
MapReduce并行编程模型的出现简化了并行编程的复杂度。通过调用方便的接口和运行时支持库,MapReduce并行编程模型可令大规模并行计算任务自动并发地执行而不必关心底层的具体实现细节,从而令MapReduce并行编程模型在大规模中低性能集... MapReduce并行编程模型的出现简化了并行编程的复杂度。通过调用方便的接口和运行时支持库,MapReduce并行编程模型可令大规模并行计算任务自动并发地执行而不必关心底层的具体实现细节,从而令MapReduce并行编程模型在大规模中低性能集群中发挥出色的计算能力,且可节约成本。对国内外关于MapReduce并行编程模型的研究现状进行了综述,分析了目前国内外相关研究成果的优缺点,并对MapReduce并行编程模型的未来发展进行了展望。 展开更多
关键词 mapreduce 并行编程模型 并行计算 海量数据处理
在线阅读 下载PDF
基于MapReduce的Hadoop大表导入编程模型 被引量:13
5
作者 陈吉荣 乐嘉锦 《计算机应用》 CSCD 北大核心 2013年第9期2486-2489,2561,共5页
针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长... 针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长度(等于步长),从而保证每个mapper的导入工作量完全相同。该模型的map方式是:进入map函数的键值对中的键是一个split所对应的SQL语句,将查询放在map函数中完成,从而使得模型中的每个mapper只调用一次map函数。对比实验表明:两个记录数相同的大表,无论其记录区间如何分布,其导入时间基本相同,或者对同一表分别用不同的分割字段,导入时间也完全相同;而对于同一个大表,模型的导入效率比Sqoop有显著提高。 展开更多
关键词 编程模型 HADOOP mapreduce HADOOP分布式文件系统 Sqoop
在线阅读 下载PDF
SIMD-to-RVV动态二进制翻译中的跨架构编程模型适配优化
6
作者 赖远明 李亚龙 +3 位作者 胡瀚之 谢梦瑶 王喆 武成岗 《计算机研究与发展》 北大核心 2025年第6期1469-1491,共23页
RISC-V因其开源和模块化设计等特性,已在嵌入式领域取得显著成功,并逐步向高性能计算(HPC)领域拓展.面向HPC的RISC-V硬件(如Sophon SG2042多核处理器)已展现出与x86/ARM同类型产品相当的性能水平,但不完善的软件生态是阻碍其发展的最大... RISC-V因其开源和模块化设计等特性,已在嵌入式领域取得显著成功,并逐步向高性能计算(HPC)领域拓展.面向HPC的RISC-V硬件(如Sophon SG2042多核处理器)已展现出与x86/ARM同类型产品相当的性能水平,但不完善的软件生态是阻碍其发展的最大障碍之一.开发了面向RISC-V的进程级动态二进制翻译(DBT)器RVBT,用于将成熟的x86软件生态移植到RISC-V平台,加速RISC-V在HPC领域的应用进程.针对HPC程序广泛依赖SIMD指令的特性,聚焦于解决SIMD与RVV间显著的编程模型差异导致的翻译性能瓶颈问题,提出了3项创新的优化方案.x86SIMD将数据类型硬编码于操作码,而RVV需动态配置vtype和掩码寄存器,这导致直接翻译产生了大量冗余操作,严重拉低了翻译运行的效率.通过充分利用程序数据类型的局部性,优化方案可删除跨架构适配编程模型导致的冗余设置,混合使用浮点扩展和向量扩展翻译SIMD指令并按需同步数据,大幅提升了SIMD指令的翻译运行效率.3项优化方案具备通用性,也适用于ARM平台的SIMD到RVV的翻译.实验表明,以SPECCPU2006作为测试集,优化方案对csrr,vsetvl,vsetvli指令的平均动态消除率分别达到了100%,100%和56.31%,在浮点测试集上,掩码设置操作的平均动态消除率达到了74.66%,数据的平均动态同步率为67.35%.优化后的RVBT在整点和浮点测试集上的平均运行效率达到了本地执行的47.39%和40.06%,相比优化前的加速比分别为1.21和8.31,并远超QEMU18.84%和4.81%,展现出了应用于部分HPC场景的潜力. 展开更多
关键词 二进制翻译 RISC-V向量扩展 x86SIMD 跨架构编程模型适配 浮点计算 冗余设置消除 混合翻译
在线阅读 下载PDF
基于Kano模型的儿童编程App用户需求分析及界面交互设计 被引量:2
7
作者 陈柏君 《包装工程》 北大核心 2025年第4期237-249,共13页
目的解决小学生编程教育App易用性缺乏及用户体验欠佳的问题,系统性研究小学生、小学家长与小学教师三大用户群体对编程教育App的使用需求,提出强化编程教育App使用效能的界面交互设计策略。方法基于用户旅程图与数字化教育理论LM-GM模... 目的解决小学生编程教育App易用性缺乏及用户体验欠佳的问题,系统性研究小学生、小学家长与小学教师三大用户群体对编程教育App的使用需求,提出强化编程教育App使用效能的界面交互设计策略。方法基于用户旅程图与数字化教育理论LM-GM模型,输出编程教育App的初始功能清单。根据Kano模型分析法,创建双因素李克特量表,针对小学生、小学家长与小学教师进行调研,计算三大用户群体对各项产品功能的SI与DSI指数,形成Better-Worse四象限模型图。结果界定编程教育App的必备属性5项、期望属性8项与魅力属性12项,基于情感化设计理论研发编程教育App Wan-naBone1与WannaBone2,兼顾三大用户群体需求,涵盖40个教学任务、13个界面模块,并呈现2种界面设计模式,融合AIGC与智能教育技术,凸显多模态感官刺激、可视化编程交互与驱动式激励机制。结论基于Kano模型分析法进行编程教育App设计研究,可深入洞察目标用户群体的多维心理需求,实现用户体验良好的界面交互设计,为小学人工智能教育提供创新设计思路与实践指导。 展开更多
关键词 编程教育App KANO模型 情感化设计 用户需求分析 界面交互设计
在线阅读 下载PDF
集成AI大语言模型的在线编程实验平台设计与实现 被引量:8
8
作者 厉旭杰 顾雨辰 姚持恩 《实验技术与管理》 CAS 北大核心 2024年第8期215-221,共7页
传统在线编程实验平台受限于反馈信息的局限性、忽视代码风格及规范性、代码的可读性、代码的效率等多种因素,不利于学生的学习和发展。该文设计并实现了一个集成AI大语言模型的在线编程实验平台方案,该方案在传统平台基础上,引入了大... 传统在线编程实验平台受限于反馈信息的局限性、忽视代码风格及规范性、代码的可读性、代码的效率等多种因素,不利于学生的学习和发展。该文设计并实现了一个集成AI大语言模型的在线编程实验平台方案,该方案在传统平台基础上,引入了大语言模型的实时代码建议、程序安全扫描和判题结果分析优化功能。通过AI大语言模型的实时分析、诊断和优化建议,大大提高了教学效果,增强了学生与系统的互动,能够使学生更好的理解编程概念并提升解决问题的能力。该研究证实了AI模型在编程教育中的价值,并为人工智能在高等教育技术的应用提供了新的视角和策略。 展开更多
关键词 大语言模型 编程实验平台 程序设计 人工智能
在线阅读 下载PDF
基于Hadoop的MapReduce模型的研究与改进 被引量:36
9
作者 李玉林 董晶 《计算机工程与设计》 CSCD 北大核心 2012年第8期3110-3116,共7页
针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通... 针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致。仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间。 展开更多
关键词 mapreduce模型 HADOOP 数据倾斜 云计算 并行编程
在线阅读 下载PDF
基于MapReduce的多元线性回归预测模型 被引量:17
10
作者 代亮 许宏科 +2 位作者 陈婷 钱超 梁殿鹏 《计算机应用》 CSCD 北大核心 2014年第7期1862-1866,共5页
针对传统的多元线性回归预测方法处理时间长且受内存限制的特点,对时序样本数据设计了基于MapReduce的并行多元线性回归预测模型。模型由三组MapReduce过程组成,分别求解由历史数据所构成叉积矩阵的特征向量和标准正交特征向量,用来预... 针对传统的多元线性回归预测方法处理时间长且受内存限制的特点,对时序样本数据设计了基于MapReduce的并行多元线性回归预测模型。模型由三组MapReduce过程组成,分别求解由历史数据所构成叉积矩阵的特征向量和标准正交特征向量,用来预测未来参数的特征值和特征向量矩阵和未来时刻回归参数的估计量。设计并实现了实验来验证提出的并行多元线性回归预测模型的有效性。实验结果表明,基于MapReduce的多元线性回归预测模型具有较好的加速比和可扩展性,适合于大规模时序数据的分析和预测。 展开更多
关键词 mapreduce 多元线性回归 预测模型 加速比 可扩展性
在线阅读 下载PDF
基于MapReduce的最小二乘支持向量机回归模型 被引量:4
11
作者 代亮 许宏科 +2 位作者 陈婷 钱超 梁殿鹏 《计算机应用研究》 CSCD 北大核心 2015年第4期1060-1064,共5页
针对最小二乘支持向量机处理大规模数据集耗时长且受内存限制的特点,将局部多模型方法与MapReduce编程模式相结合,提出一种并行最小二乘支持向量机回归模型。模型由两组MapReduce过程组成,首先按照输入样本集对样本数据进行聚类操作,再... 针对最小二乘支持向量机处理大规模数据集耗时长且受内存限制的特点,将局部多模型方法与MapReduce编程模式相结合,提出一种并行最小二乘支持向量机回归模型。模型由两组MapReduce过程组成,首先按照输入样本集对样本数据进行聚类操作,再对聚类后得到的子类按输出样本集进行二次聚类操作,分别得到局部模型数目和各局部模型综合加权输出计算结果。实验结果表明,并行最小二乘支持向量机回归模型具有较好的加速比和可扩展性。 展开更多
关键词 最小二乘支持向量机 mapreduce编程模式 局部多模型方法 加速比 可扩展性
在线阅读 下载PDF
基于MapReduce模型的间歇性能源海量数据处理技术 被引量:13
12
作者 梅华威 米增强 吴广磊 《电力系统自动化》 EI CSCD 北大核心 2014年第15期76-80,99,共6页
针对传统间歇性能源海量数据处理技术的局限性,提出了基于MapReduce模型的间歇性能源海量数据处理技术,利用廉价的商用计算机组成集群,对海量数据进行并行处理,确保了海量数据处理的可靠性、低成本、高效能和扩展性,并对该技术的平台实... 针对传统间歇性能源海量数据处理技术的局限性,提出了基于MapReduce模型的间歇性能源海量数据处理技术,利用廉价的商用计算机组成集群,对海量数据进行并行处理,确保了海量数据处理的可靠性、低成本、高效能和扩展性,并对该技术的平台实现进行了论述。最后通过实验对比不同数据平台下海量数据处理的效率,验证了基于MapReduce模型的间歇性能源海量数据处理技术的高效性。 展开更多
关键词 间歇性能源 风力发电 mapreduce模型 数据处理 云计算
在线阅读 下载PDF
基于MapReduce模型的并行量子进化算法 被引量:6
13
作者 贾瑞玉 刘范范 +1 位作者 潘雯雯 王伟东 《计算机工程》 CAS CSCD 2012年第8期180-182,188,共4页
利用MapReduce模型可自动编写串行程序及编程接口简单的优点,实现量子进化算法在MapReduce模型下的并行化,提出基于MapReduce模型的并行量子进化算法MRQEA,并将其部署到Hadoop云计算平台上运行。对0-1背包问题的测试结果证明,MRQEA算法... 利用MapReduce模型可自动编写串行程序及编程接口简单的优点,实现量子进化算法在MapReduce模型下的并行化,提出基于MapReduce模型的并行量子进化算法MRQEA,并将其部署到Hadoop云计算平台上运行。对0-1背包问题的测试结果证明,MRQEA算法在处理大型数据集时具有良好的加速比和并行效率。 展开更多
关键词 量子进化算法 mapreduce模型 云计算平台 HADOOP平台
在线阅读 下载PDF
基于MapReduce模型的并行遗传k-means聚类算法 被引量:22
14
作者 贾瑞玉 管玉勇 李亚龙 《计算机工程与设计》 CSCD 北大核心 2014年第2期657-660,共4页
为了提高遗传k-means算法时间效率和聚类结果的正确率,利用遗传算法的粗粒度并行化设计思想,提出了在Hadoop平台下将遗传k-means算法进行并行化设计。将各个子种群编号作为个体区分,个体所包含的各个聚类中心和其适应度作为值共同作为... 为了提高遗传k-means算法时间效率和聚类结果的正确率,利用遗传算法的粗粒度并行化设计思想,提出了在Hadoop平台下将遗传k-means算法进行并行化设计。将各个子种群编号作为个体区分,个体所包含的各个聚类中心和其适应度作为值共同作为个体的输入;在并行化过程中,设计了较优的种群迁移策略来避免早熟现象的发生。实验对不同的数据集进行处理,实验结果表明,并行化的遗传k-means算法在处理较大数据集时比传统的串行算法在时间上和最后的结果上都具有明显的优越性。 展开更多
关键词 遗传算法 K-MEANS算法 mapreduce模型 HADOOP平台 并行化
在线阅读 下载PDF
MapReduce模型下的模糊C均值算法研究 被引量:10
15
作者 王永贵 李鸿绪 宋晓 《计算机工程》 CAS CSCD 2014年第10期47-51,共5页
针对模糊C均值算法需要不断迭代来计算样本数据的隶属度值以及聚类中心的特点,利用MapReduce模型解决海量数据下的模糊C均值问题,进而提出高效的模糊C均值算法。在Map阶段和Reduce阶段分别完成隶属度和聚类中心的计算,每次迭代都需要启... 针对模糊C均值算法需要不断迭代来计算样本数据的隶属度值以及聚类中心的特点,利用MapReduce模型解决海量数据下的模糊C均值问题,进而提出高效的模糊C均值算法。在Map阶段和Reduce阶段分别完成隶属度和聚类中心的计算,每次迭代都需要启动一次完整的MapReduce执行过程。通过多次迭代计算出隶属度值以及聚类中心,并更新聚类中心文件,供下一轮作业使用,重复执行这一过程直至得到最终聚类结果。实验结果表明,该算法能够有效减少MapReduce计算过程中的迭代次数,从而提高整体执行效率。 展开更多
关键词 模糊C均值算法 mapreduce模型 海量数据 高效 迭代
在线阅读 下载PDF
基于MapReduce的并行石漠化CA模型 被引量:1
16
作者 张学锋 余利 +2 位作者 胡宝清 严国全 李博 《计算机工程与应用》 CSCD 2013年第16期40-42,46,共4页
针对石漠化演化模拟预测CA模型在单机上训练和运行时间较长的问题。给出了MapReduce编程模型实现的并行化石漠化CA模型,并在用普通PC搭建的Hadoop集群上进行研究实验。实验结果表明,在Hadoop集群上实现的MapReduce并行化石漠化CA模型具... 针对石漠化演化模拟预测CA模型在单机上训练和运行时间较长的问题。给出了MapReduce编程模型实现的并行化石漠化CA模型,并在用普通PC搭建的Hadoop集群上进行研究实验。实验结果表明,在Hadoop集群上实现的MapReduce并行化石漠化CA模型具有较好的加速比。 展开更多
关键词 云计算 并行计算 mapreduce模型 CA模型 石漠化
在线阅读 下载PDF
基于Hadoop的贝叶斯过滤MapReduce模型 被引量:3
17
作者 曾青华 袁家斌 张云洲 《计算机工程》 CAS CSCD 2013年第11期57-60,64,共5页
传统分布式大型邮件系统对海量邮件的过滤存在编程难、效率低、前期训练耗用资源大等缺点,为此,对传统贝叶斯过滤算法进行并行化改进,利用云计算MapReduce模型在海量数据处理方面的优势,设计一种基于Hadoop开源云架构的贝叶斯邮件过滤Ma... 传统分布式大型邮件系统对海量邮件的过滤存在编程难、效率低、前期训练耗用资源大等缺点,为此,对传统贝叶斯过滤算法进行并行化改进,利用云计算MapReduce模型在海量数据处理方面的优势,设计一种基于Hadoop开源云架构的贝叶斯邮件过滤MapReduce模型,优化邮件的训练和过滤过程。实验结果表明,与传统分布式计算模型相比,该模型在召回率、查准率和精确率方面性能较好,同时可降低邮件过滤成本,提高系统执行效率。 展开更多
关键词 云计算 mapreduce模型 Hadoop架构 贝叶斯算法 垃圾邮件 反垃圾邮件过滤
在线阅读 下载PDF
基于Dynamo的Revit-Midas/Civil斜拉桥模型信息转换 被引量:2
18
作者 蔡金标 刘鸾翔 +2 位作者 冯倩 何欣 徐荣桥 《湖南大学学报(自然科学版)》 北大核心 2025年第1期132-138,共7页
BIM模型不支持有限元计算,且BIM模型与有限元分析模型数据交互困难,故BIM技术正向设计过程中存在建模效率低、模型修改困难等问题,无法做到BIM结构设计与有限元力学分析一体化,增加了结构模型建模与纠错成本.本文依托Revit和Midas/Civi... BIM模型不支持有限元计算,且BIM模型与有限元分析模型数据交互困难,故BIM技术正向设计过程中存在建模效率低、模型修改困难等问题,无法做到BIM结构设计与有限元力学分析一体化,增加了结构模型建模与纠错成本.本文依托Revit和Midas/Civil软件平台,在Dynamo环境下采用IronPython语言设计了一套Revit-Midas/Civil的模型信息转换程序.以博士大桥主桥为对象,通过程序自动实现:1)Revit模型桥梁构件分解、截面特性计算、拉索及梁塔弹性连接处理,并转换成适用于Midas/Civil的语言格式MCT文件,实现了Revit向Midas/Civil模型信息自动转换;2)将有限元计算结果反馈到Revit模型中,对作用效应信息按数值大小赋予渐变颜色,实现了在BIM模型中显示有限元分析结果的展示功能.本文程序可实现Revit-Midas/Civil模型信息转换,有效提高了BIM正向应用效率,弥补了BIM技术在桥梁结构分析方面的不足. 展开更多
关键词 斜拉桥 模型转换 Dynamo混合编程 REVIT MIDAS/CIVIL
在线阅读 下载PDF
基于作业历史运行信息的MapReduce能耗预测模型 被引量:1
19
作者 廖彬 张陶 +1 位作者 于炯 孙华 《计算机科学》 CSCD 北大核心 2015年第11期178-183,共6页
在数据量规模剧增的背景下,大数据处理过程中产生的高能耗问题亟待解决,而能耗模型是研究提高能耗效率方法的基础。利用传统的能耗模型计算MapReduce作业执行能耗面临诸多挑战,在对大数据计算模型MapReduce的集群结构、作业的任务分解... 在数据量规模剧增的背景下,大数据处理过程中产生的高能耗问题亟待解决,而能耗模型是研究提高能耗效率方法的基础。利用传统的能耗模型计算MapReduce作业执行能耗面临诸多挑战,在对大数据计算模型MapReduce的集群结构、作业的任务分解及任务与资源映射模型分析建模的基础上,提出基于作业历史运行信息的MapReduce能耗预测模型。通过对不同作业历史运行信息的分析,得到DataNode运行不同任务时的计算能力及能耗特性,继而实现在MapReduce作业执行前对作业能耗的预测。实验结果验证了能耗预测模型的可行性,并通过对能耗预测准确率调节因子的修正,能够达到提高能耗模型的预测准确度的目的。 展开更多
关键词 绿色计算 mapreduce 能耗建模 预测模型
在线阅读 下载PDF
基于MapReduce模型的排序算法优化研究 被引量:6
20
作者 金菁 《计算机科学》 CSCD 北大核心 2014年第12期155-159,共5页
MapReduce已经发展成为大数据领域标准的并行计算模型。理想情况下,一个MapReduce系统应该使参与计算的所有节点高度负载均衡,并且最小化空间使用率、CPU和I/O的使用时长以及网络传输开销。传统的算法往往只针对上述指标中的一种进行优... MapReduce已经发展成为大数据领域标准的并行计算模型。理想情况下,一个MapReduce系统应该使参与计算的所有节点高度负载均衡,并且最小化空间使用率、CPU和I/O的使用时长以及网络传输开销。传统的算法往往只针对上述指标中的一种进行优化。在保持算法良好并行性基础上,对多个指标同时进行优化,提出了MapReduce优化算法的设计规范。针对数据处理领域最重要的排序算法进行理论分析,给出了多指标约束下的最后算法,并证明了该优化算法满足MapReduce优化算法规范。最后通过实验验证了优化的排序算法的有效性和效率。 展开更多
关键词 mapreduce模型 优化算法 大数据 排序算法
在线阅读 下载PDF
上一页 1 2 34 下一页 到第
使用帮助 返回顶部