期刊文献+
共找到418篇文章
< 1 2 21 >
每页显示 20 50 100
基于MapReduce的并行化电网运行数据处理方法研究 被引量:1
1
作者 黄新宇 高嵩 +2 位作者 邱刚 谭笑 陈杰 《电子设计工程》 2024年第4期98-102,共5页
在大规模新能源的新型电力系统中,由于云端电力数据存在结构复杂、数据量大及多维度的特点,因此不利于发挥数据对运行的指导作用,甚至有可能危害电力系统的安全、稳定运行。针对上述问题,文中提出了一种基于MapReduce的电网数据分析方... 在大规模新能源的新型电力系统中,由于云端电力数据存在结构复杂、数据量大及多维度的特点,因此不利于发挥数据对运行的指导作用,甚至有可能危害电力系统的安全、稳定运行。针对上述问题,文中提出了一种基于MapReduce的电网数据分析方法。其将云计算应用于新型电力系统,并构建了基于MapReduce云计算模型的并行化处理算法,进而提升了系统的响应速度。通过将该方法应用于电网的数据处理结果表明,所提方法可以有效地提高电网运行数据处理的准确性和工作效率。在海量数据的工况下,其处理效率约为30 min,且随着数据量的增加仍可保持稳定性与准确性,实现了网格化的并行分析。 展开更多
关键词 电网运行数据 mapreduce 并行计算 数据处理
在线阅读 下载PDF
结合MapReduce框架的离群因子检测算法
2
作者 徐树奎 张煜 +2 位作者 李海霞 常海艳 张和伟 《火力与指挥控制》 CSCD 北大核心 2024年第11期128-132,共5页
离群因子检测目的是检测与大部分其他对象显著不同的数据对象。近年来,在某些分组计算应用场景下,数据量十分巨大,现有算法采用的欧氏距离计算开销不断增大,存在两个较有挑战性问题:1)组间数据对象数量十分巨大,计算耗时较长,开销较大;2... 离群因子检测目的是检测与大部分其他对象显著不同的数据对象。近年来,在某些分组计算应用场景下,数据量十分巨大,现有算法采用的欧氏距离计算开销不断增大,存在两个较有挑战性问题:1)组间数据对象数量十分巨大,计算耗时较长,开销较大;2)数据对象维度逐渐增多,算法时间开销大。将MapReduce计算框架与LOF算法相结合,解决上述问题。实验证明,引入了MapReduce分布式计算框架的改进算法可以有效提升大量数据中检测离群点的效率。 展开更多
关键词 离群因子检测 LOF算法 mapreduce框架 分布式计算
在线阅读 下载PDF
MapReduce并行编程模型研究综述 被引量:188
3
作者 李建江 崔健 +2 位作者 王聃 严林 黄义双 《电子学报》 EI CAS CSCD 北大核心 2011年第11期2635-2642,共8页
MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成... MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望. 展开更多
关键词 mapreduce 并行编程模型 运行时支持库 海量数据处理
在线阅读 下载PDF
基于MapReduce模型的并行科学计算 被引量:39
4
作者 郑启龙 房明 +3 位作者 汪胜 王向前 吴晓伟 王昊 《微电子学与计算机》 CSCD 北大核心 2009年第8期13-17,共5页
随着多核处理器日渐普及,开发高效易用的并行编程模型成为新的挑战.MapReduce是Google开发的一种并行分布式计算模型,在其搜索业务中获得了巨大的成功.将MapReduce模型引入科学计算领域,并结合实例阐述了如何使用面向高性能计算的HPMR/H... 随着多核处理器日渐普及,开发高效易用的并行编程模型成为新的挑战.MapReduce是Google开发的一种并行分布式计算模型,在其搜索业务中获得了巨大的成功.将MapReduce模型引入科学计算领域,并结合实例阐述了如何使用面向高性能计算的HPMR/HPMR-s系统在分布式或共享存储系统中采用统一的方式描述并实现并行科学计算. 展开更多
关键词 并行编程模型 科学计算 mapreduce
在线阅读 下载PDF
基于布尔矩阵和MapReduce的FP-Growth算法 被引量:23
5
作者 陈兴蜀 张帅 +1 位作者 童浩 崔晓靖 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2014年第1期135-141,共7页
关联规则挖掘是数据挖掘的一个重要组成部分.为提高关联规则的挖掘效率,提出了一种基于布尔矩阵和MapReduce的FP-Growth算法(BPFP),分析了算法的时间和空间复杂度.该算法使用Hadoop框架和布尔矩阵以减少对事务数据的扫描次数,利用两次Ma... 关联规则挖掘是数据挖掘的一个重要组成部分.为提高关联规则的挖掘效率,提出了一种基于布尔矩阵和MapReduce的FP-Growth算法(BPFP),分析了算法的时间和空间复杂度.该算法使用Hadoop框架和布尔矩阵以减少对事务数据的扫描次数,利用两次MapReduce来实现频繁项集的挖掘.在多个数据集上的实验结果表明,与原FP-Growth算法相比,BPFP算法具有更高的执行效率、更好的加速比. 展开更多
关键词 数据挖掘 关联规则 布尔矩阵 mapreduce FP-GROWTH算法
在线阅读 下载PDF
基于MapReduce的并行Web服务自动组合 被引量:8
6
作者 黄龙涛 邓水光 +2 位作者 戴康 李莹 尹建伟 《电子学报》 EI CAS CSCD 北大核心 2012年第7期1397-1403,共7页
如何在大规模的Web服务集合中进行快速、高效的自动组合是当前Web服务组合研究与应用的难点.传统的Web服务自动组合方法大多建立在单机计算基础上,服务数量一旦过多,规划或搜索空间随之膨胀,组合效率低下.本文提出了一种分步分治、深度... 如何在大规模的Web服务集合中进行快速、高效的自动组合是当前Web服务组合研究与应用的难点.传统的Web服务自动组合方法大多建立在单机计算基础上,服务数量一旦过多,规划或搜索空间随之膨胀,组合效率低下.本文提出了一种分步分治、深度优先搜索的Top-k Qos服务组合算法,并采用MapReduce实现了分布式、并行的服务自动组合过程.实验结果表明,该方法在应对大规模的服务集合时,能快速、高效的提供满足用户需求的组合服务. 展开更多
关键词 WEB服务 服务组合 mapreduce 回溯树
在线阅读 下载PDF
温度感知的MapReduce节能任务调度策略 被引量:8
7
作者 廖彬 张陶 +3 位作者 于炯 刘继 尹路通 郭刚 《通信学报》 EI CSCD 北大核心 2016年第1期61-75,共15页
现有的FIFO、Fair、Capacity、LATE及Deadline Constraint等Map Reduce任务调度器的主要区别在于队列与作业选择策略的不同,而任务选择策略基本相同,都是将数据的本地性(data-locality)作为选择的主要因素,忽略了对Task Tracker当前温... 现有的FIFO、Fair、Capacity、LATE及Deadline Constraint等Map Reduce任务调度器的主要区别在于队列与作业选择策略的不同,而任务选择策略基本相同,都是将数据的本地性(data-locality)作为选择的主要因素,忽略了对Task Tracker当前温度状态的考虑。实验表明,当Task Tracker处于高温状态时,一方面使CPU利用率变高,导致节点能耗增大,任务处理速度下降,导致任务完成时间增加;另一方面,易发的宕机现象将直接导致任务的失败,推测执行(speculative execution)机制容易使运行时任务被迫中止。继而提出温度感知的节能任务调度策略,将节点CPU温度纳入任务调度的决策信息,以避免少数高温任务执行节点对作业整体进度的影响。实验结果表明,算法能够避免任务分配到高温节点,从而有效地缩短作业完成时间,减小作业执行能耗,提高系统稳定性。 展开更多
关键词 绿色计算 mapreduce 任务调度 温度感知
在线阅读 下载PDF
KNN分类算法的MapReduce并行化实现 被引量:21
8
作者 闫永刚 马廷淮 王建 《南京航空航天大学学报》 EI CAS CSCD 北大核心 2013年第4期550-555,共6页
为了提高k-nearest neighbor algorithm(KNN)算法处理大数据集的能力,本文利用Map Reduce并行编程模型,同时结合KNN算法自身的特点,给出了KNN算法在Hadoop平台下的并行化实现。通过设计Map、Combine和Reduce 3个函数,实现了KNN算法的并... 为了提高k-nearest neighbor algorithm(KNN)算法处理大数据集的能力,本文利用Map Reduce并行编程模型,同时结合KNN算法自身的特点,给出了KNN算法在Hadoop平台下的并行化实现。通过设计Map、Combine和Reduce 3个函数,实现了KNN算法的并行化。Map函数完成每个测试样本与训练样本之间的相似度计算,Combine函数作为一个本地的Reduce操作,用以减少中间计算量及通信开销,Reduce函数则根据上述函数得到的中间结果计算出k近邻并作出分类判断。实验结果表明:较之以往的单机版方法,在Hadoop集群上实现的并行化KNN算法具有较好的加速比和良好的扩展性。 展开更多
关键词 KNN分类 并行计算 mapreduce模型 HADOOP
在线阅读 下载PDF
基于MapReduce的封闭立方体并行计算方法 被引量:8
9
作者 奚建清 游进国 +1 位作者 汤德佑 肖伟吉 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2009年第1期91-95,112,共6页
封闭立方体是一种非常有效而重要的数据立方体压缩技术,目前还缺乏对其并行算法的研究.为此,文中提出一种采用C-Cubing方法并通过MapReduce并行模型进行并行化的新方法.该方法首先在Map过程中对各个数据分块计算出数据单元的代表元组和... 封闭立方体是一种非常有效而重要的数据立方体压缩技术,目前还缺乏对其并行算法的研究.为此,文中提出一种采用C-Cubing方法并通过MapReduce并行模型进行并行化的新方法.该方法首先在Map过程中对各个数据分块计算出数据单元的代表元组和封闭掩码,然后在Reduce过程中进行聚合以获得封闭单元.实验结果表明,文中方法能有效地提高在大数据集上计算封闭立方体的速度. 展开更多
关键词 数据仓库 联机分析处理 并行算法 封闭立方体 mapreduce技术
在线阅读 下载PDF
基于MapReduce实现空间查询的研究 被引量:15
10
作者 张书彬 韩冀中 +1 位作者 刘志勇 王凯 《高技术通讯》 EI CAS CSCD 北大核心 2010年第7期719-726,共8页
为了解决原有单机空间数据库管理系统在存储能力、计算能力和可扩展能力上的不足,在分布式文件系统的基础上设计并实现了一种基于并行计算框架MapReduce的空间矢量数据管理系统Meadow,并重点讨论了利用MapReduce并行处理空间查询的数据... 为了解决原有单机空间数据库管理系统在存储能力、计算能力和可扩展能力上的不足,在分布式文件系统的基础上设计并实现了一种基于并行计算框架MapReduce的空间矢量数据管理系统Meadow,并重点讨论了利用MapReduce并行处理空间查询的数据分割方法、副本避免方法及关键算法的设计策略,最后给出了定量的分析和论证。实验表明,相对于单机Oracle Spatial,利用MapReduce并行处理空间查询的方法具有良好的性能和近似线性的加速比。实验结果也验证了MapReduce在诸如空间数据管理系统这种基于小规模集群的计算密集型应用中同样具有良好的性能。 展开更多
关键词 空间数据管理系统 mapreduce 空间查询 分布式系统
在线阅读 下载PDF
基于MapReduce的关系型数据仓库并行查询 被引量:9
11
作者 师金钢 鲍玉斌 +1 位作者 冷芳玲 于戈 《东北大学学报(自然科学版)》 EI CAS CSCD 北大核心 2011年第5期626-629,共4页
针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索... 针对MapReduce框架与传统关系型数据库兼容性不好的问题,提出了一种基于分块结构的分布式关系数据库ChunkDB.并对MapReduce架构进行了扩展设计,使ChunkDB与MapReduce有效结合,将MapReduce的扩展性、易操作性、高并行性与关系数据库的索引等查询优化优势相结合.实验证明基于MapReduce的ChunkDB数据库能够为数据仓库应用提供快速高效的并行查询. 展开更多
关键词 mapreduce 数据仓库 并行计算 分布式数据库 查询优化
在线阅读 下载PDF
MapReduce模型的调度及容错机制研究 被引量:26
12
作者 孙广中 肖锋 熊曦 《微电子学与计算机》 CSCD 北大核心 2007年第9期178-180,共3页
MapReduce是一种并行编程模型,可以用来处理和生成大量数据集。它的调度以及容错机制是模型的重要一部分。通过对MapReduce模型的执行过程进行分析,提取得到其上面的调度以及容错模型。并将P2P模型中常用的调度思想使用于MapReduce调度... MapReduce是一种并行编程模型,可以用来处理和生成大量数据集。它的调度以及容错机制是模型的重要一部分。通过对MapReduce模型的执行过程进行分析,提取得到其上面的调度以及容错模型。并将P2P模型中常用的调度思想使用于MapReduce调度模型上,对原来的调度机制和容错机制做一定的修改。 展开更多
关键词 mapreduce 调度 容错
在线阅读 下载PDF
MapReduce框架下的优化高维索引与KNN查询 被引量:7
13
作者 梁俊杰 李凤华 +1 位作者 刘琼妮 尹利 《电子学报》 EI CAS CSCD 北大核心 2016年第8期1873-1880,共8页
针对大规模高维数据近似查询效率低下的问题,利用MapReduce编程模型在大规模集群上的数据与任务的并行计算与处理优势,提出MapReduce框架下大规模高维数据索引及KNN查询方法(i PBM),重点突破MapReduce数据块(block)的优化划分与各数据... 针对大规模高维数据近似查询效率低下的问题,利用MapReduce编程模型在大规模集群上的数据与任务的并行计算与处理优势,提出MapReduce框架下大规模高维数据索引及KNN查询方法(i PBM),重点突破MapReduce数据块(block)的优化划分与各数据块对计算的共同贡献两大难题,利用两阶段数据划分策略并依据相关性与并行性原则将数据均匀分配到各数据块中,设计分布式的双层空间索引结构与并行KNN查询算法,检索时利用全局索引、局部索引与二维位码索引实现三层数据过滤,大幅缩小搜索范围并降低高维向量计算代价,实验表明i PBM对大规模高维数据的近似查询具有准确性、高效性和扩展性. 展开更多
关键词 云计算 mapreduce KNN查询 高维索引
在线阅读 下载PDF
MapReduce并行编程架构模型研究 被引量:23
14
作者 江务学 张璟 王志明 《微电子学与计算机》 CSCD 北大核心 2011年第6期168-170,175,共4页
针对高质量高效率的MapReduce应用程序的开发,分析了基于Hadoop MapReduce模型的工作机制,从开发类库级阐述了MapReduce并行工作流程,提出了一个具有通用性的MapReduce开发框架原型,对开源的Ma-pReduce模型的改进作了一些展望.
关键词 mapreduce模型 并行编程 心跳程序
在线阅读 下载PDF
一种适用于Hadoop MapReduce环境的数据预取方法 被引量:5
15
作者 张霄宏 雒芬 +1 位作者 贾宗璞 沈记全 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2014年第2期191-196,共6页
为解决由Reduce任务引起的远程数据访问延时和资源竞争导致的系统性能问题,提出了一种基于预调度的数据预取方法.该方法通过预取数据来隐藏由Reduce任务引起的远程数据访问延时,通过控制与Reduce任务相关的资源分配来减少由其引起的资... 为解决由Reduce任务引起的远程数据访问延时和资源竞争导致的系统性能问题,提出了一种基于预调度的数据预取方法.该方法通过预取数据来隐藏由Reduce任务引起的远程数据访问延时,通过控制与Reduce任务相关的资源分配来减少由其引起的资源竞争.此方法已在Hadoop-0.20.2中实现.实验结果表明,与缺省的Hadoop MapReduce及Hadoop Online Prototype相比,该方法可将系统性能提高10%以上. 展开更多
关键词 mapreduce 分布式计算 预取 调度
在线阅读 下载PDF
基于内存优化配置的MapReduce性能调优 被引量:6
16
作者 罗永刚 陈兴蜀 杨露 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2017年第1期102-111,共10页
MapReduce作业性能与内存配置存在极大的相关性,针对准确预测作业内存困难问题,根据Java虚拟机(JVM)的分代内存管理特点,提出了一种分代内存预测方法.首先使用回归模型对年轻代与垃圾回收平均时间的关系进行建模,将寻找合理年轻代内存... MapReduce作业性能与内存配置存在极大的相关性,针对准确预测作业内存困难问题,根据Java虚拟机(JVM)的分代内存管理特点,提出了一种分代内存预测方法.首先使用回归模型对年轻代与垃圾回收平均时间的关系进行建模,将寻找合理年轻代内存大小的问题转换为一个受约束的非线性优化问题,并设计搜索算法来求解该优化问题.文中还建立MapReduce作业的Map任务和Reduce任务性能与内存的关系模型,求解最佳性能的内存需求,从而获得Map任务和Reduce任务的年长代内存大小;使用聚类算法预测JVM晋升对象阈值,优化JVM配置,减少了JVM的垃圾回收暂停时间.实验结果表明,文中提出的方法能准确预测作业的内存需求,显著提升作业运行性能. 展开更多
关键词 大数据 mapreduce 垃圾回收 内存分配 性能优化
在线阅读 下载PDF
基于MapReduce的高分辨率遥感影像特征提取方法 被引量:4
17
作者 沈盛彧 刘哲 +3 位作者 张平仓 张彤 吴华意 陈小平 《长江科学院院报》 CSCD 北大核心 2014年第2期91-96,共6页
遥感影像的数量和数据量正在呈几何级数增长,传统遥感影像处理方法已经无法应对这一海量问题。利用新兴的高性能计算集群的超强计算、存储及吞吐能力处理海量高分辨率遥感影像是一种新的思路。在基于云计算的高分辨率遥感影像处理的研... 遥感影像的数量和数据量正在呈几何级数增长,传统遥感影像处理方法已经无法应对这一海量问题。利用新兴的高性能计算集群的超强计算、存储及吞吐能力处理海量高分辨率遥感影像是一种新的思路。在基于云计算的高分辨率遥感影像处理的研究框架下,介绍一种MapReduce遥感影像特征提取方法,实现海量高分辨率遥感影像的海量底层视觉特征的提取。通过在16个节点的Hadoop集群上进行数据量扩展和处理能力扩展实验,证明了基于MapReduce的高分辨率遥感影像底层视觉特征的高效检测与描述方法的高效率及可扩展性。 展开更多
关键词 云计算 高分辨率遥感影像 底层视觉特征 mapreduce
在线阅读 下载PDF
基于MapReduce技术的并行集成分类算法 被引量:4
18
作者 琚春华 邹江波 +1 位作者 张芮 魏建良 《电信科学》 北大核心 2012年第7期40-47,共8页
由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性,但面对大量数据时,由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,... 由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性,但面对大量数据时,由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,这显然不适合处理当今的海量数据。针对已有集成分类算法只适合作用于小规模数据集的缺点,剖析了集成分类器的特性,采用基于聚合方式的集成分类器和云计算的MapReduce技术设计了并行集成分类算法(EMapReduce),达到并行处理大规模数据的目的。并在Amazon计算集群上模拟实验,实验结果表明该算法具有一定的高效性和可行性。 展开更多
关键词 云计算 集成分类器 并行集成 mapreduce
在线阅读 下载PDF
一种具有容错机制的MapReduce模型研究与实现 被引量:4
19
作者 史椸 耿晨 齐勇 《西安交通大学学报》 EI CAS CSCD 北大核心 2014年第2期1-7,共7页
针对传统MapReduce模型的容错机制对错误的处理效率低下等问题,提出了一种基于多核虚拟机的具有容错机制的MapReduce模型。该模型使用检查点机制进行错误恢复,并只对中间结果和必要的状态信息进行保存;利用虚拟机在隔离内存中保存中间结... 针对传统MapReduce模型的容错机制对错误的处理效率低下等问题,提出了一种基于多核虚拟机的具有容错机制的MapReduce模型。该模型使用检查点机制进行错误恢复,并只对中间结果和必要的状态信息进行保存;利用虚拟机在隔离内存中保存中间结果;根据用户的需要及系统的负载情况动态调整系统中工作节点的个数。通过在SUN的32核、主频为2.38GHz、内存为128GB服务器上的测试,结果表明:与传统MapReduce模型相比,改进MapReduce模型降低了通信上的开销,提高了MapReduce运行过程的可靠性和错误恢复的性能,虚拟机监控器可以完全控制和管理多核平台的内存,使操作系统无法直接访问隔离的内存,数据恢复不会受到操作系统内部各种错误的影响,保证了恢复数据的安全性。 展开更多
关键词 多核 虚拟机 容错 mapreduce
在线阅读 下载PDF
基于MapReduce的僵尸网络在线检测算法 被引量:10
20
作者 蒋鸿玲 邵秀丽 李耀芳 《电子与信息学报》 EI CSCD 北大核心 2013年第7期1732-1738,共7页
目前僵尸网络主要是通过网络流量分析的方法来进行检测,这往往依赖于僵尸主机的恶意行为,或者需要外部系统提供信息。另外传统的流量分析方法计算量很大,难以满足实时要求。为此该文提出一种基于MapReduce的僵尸网络在线检测算法,该算... 目前僵尸网络主要是通过网络流量分析的方法来进行检测,这往往依赖于僵尸主机的恶意行为,或者需要外部系统提供信息。另外传统的流量分析方法计算量很大,难以满足实时要求。为此该文提出一种基于MapReduce的僵尸网络在线检测算法,该算法通过分析网络流量并提取其内在的关联关系检测僵尸网络,并在云计算平台上进行数据分析,使数据获取和数据分析工作同步进行,实现在线检测。实验结果表明该算法的检测率可达到90%以上,误报率在5%以下,并且数据量较大时加速比接近线性,验证了云计算技术在僵尸网络检测方面的可行性。 展开更多
关键词 云计算 僵尸网络 在线检测 mapreduce
在线阅读 下载PDF
上一页 1 2 21 下一页 到第
使用帮助 返回顶部