期刊文献+
共找到189篇文章
< 1 2 10 >
每页显示 20 50 100
采用Map-Reduce模型的海量电能质量数据交换格式文件快速解析方案 被引量:16
1
作者 曲广龙 杨洪耕 张逸 《电网技术》 EI CSCD 北大核心 2014年第6期1705-1711,共7页
针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案。通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析。Map-Reduce模型将数据集的大规模... 针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案。通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析。Map-Reduce模型将数据集的大规模操作任务拆分成若干子任务分配给网络上的每一个计算节点(如PC机),实现多计算节点共同协调处理任务,达到提高运行效率的目的。方案采用Java和C++编写,在异构平台间具有较强的可移植性,并且可以通过增加计算节点来提高解析效率,具有较强的可扩展性。通过对海量PQDIF文件进行解析测试,结果表明该方案可以显著提高文件解析效率。 展开更多
关键词 电能质量 PQDIF文件 map-reduce模型 海量数据解析 HADOOP
在线阅读 下载PDF
基于Map-Reduce模型的云资源调度方法研究 被引量:9
2
作者 张恒巍 韩继红 +1 位作者 卫波 王晋东 《计算机科学》 CSCD 北大核心 2015年第8期118-123,共6页
为提高Map-Reduce模型资源调度问题的求解效能,分别考虑Map和Reduce阶段的调度过程,建立带服务质量(QoS)约束的多目标资源调度模型,并提出用于模型求解的混沌多目标粒子群算法。算法采用信息熵理论来维护非支配解集,以保持解的多样性和... 为提高Map-Reduce模型资源调度问题的求解效能,分别考虑Map和Reduce阶段的调度过程,建立带服务质量(QoS)约束的多目标资源调度模型,并提出用于模型求解的混沌多目标粒子群算法。算法采用信息熵理论来维护非支配解集,以保持解的多样性和分布均匀性;在利用Sigma方法实现快速收敛的基础上,引入混沌扰动机制,以提高种群多样性和算法全局寻优能力,避免算法陷入局部最优。实验表明,算法求解所需的迭代次数少,得到的非支配解分布均匀。Map-Reduce资源调度问题的求解过程中,在收敛性和解集的多样性方面,所提算法均明显优于传统多目标粒子群算法。 展开更多
关键词 云计算 map-reduce 资源调度 粒子群算法 信息熵 混沌扰动
在线阅读 下载PDF
MapReduce模型下数据隐私保护机制研究 被引量:7
3
作者 杨绍禹 王世卿 《计算机科学》 CSCD 北大核心 2012年第12期153-157,共5页
在对海量数据进行分析和处理的过程中,敏感信息的隐私保护显得尤为重要。针对统计类型数据分析服务的效率和安全问题,在Map-Reduce计算模型的基础上引入差别隐私保护机制。在该模型上提出一种带有隐私保护的决策树生成算法,并证明其满足... 在对海量数据进行分析和处理的过程中,敏感信息的隐私保护显得尤为重要。针对统计类型数据分析服务的效率和安全问题,在Map-Reduce计算模型的基础上引入差别隐私保护机制。在该模型上提出一种带有隐私保护的决策树生成算法,并证明其满足ε-差别隐私。实验表明,该算法具有良好的分类精度和满意的计算效率。 展开更多
关键词 map-reduce 差别隐私 统计数据 并行计算 决策树生成算法
在线阅读 下载PDF
动态在线Map/Reduce流数据处理模型及作业拓扑管理协议
4
作者 魏晓辉 李翔 +2 位作者 李洪亮 李聪 庄园 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2015年第5期950-955,共6页
针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程... 针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程,即拓扑管理协议.SPATE系统解决了在线Map/Reduce流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性,拓扑管理协议能有效管理Flexible workflow流数据处理模型. 展开更多
关键词 流数据处理 FLEXIBLE workflow模型 map/reduce 拓扑管理
在线阅读 下载PDF
Residual Attention-BiConvLSTM:一种新的全球电离层TEC map预测模型
5
作者 王浩然 刘海军 +5 位作者 袁静 乐会军 李良超 陈羿 单维锋 袁国铭 《地球物理学报》 北大核心 2025年第2期413-430,共18页
电离层总电子含量(TEC)预测对提高全球卫星导航系统(GNSS)的精度具有重要意义.现有的TEC map预测模型主要通过顺序堆叠时空特征提取单元来实现.这种模型搭建方法会因多个卷积层顺序堆叠而损失细粒度的TEC map的空间特征,导致模型精度不... 电离层总电子含量(TEC)预测对提高全球卫星导航系统(GNSS)的精度具有重要意义.现有的TEC map预测模型主要通过顺序堆叠时空特征提取单元来实现.这种模型搭建方法会因多个卷积层顺序堆叠而损失细粒度的TEC map的空间特征,导致模型精度不够;还会由于多层堆叠导致梯度消失或梯度爆炸问题.本文借鉴残差注意力(Residual Attention)的思想,在TEC map预测模型中增加了残差注意力模块,提出了Residual Attention-BiConvLSTM模型.该模型中的残差注意力模块能同时提取粗、细粒度空间特征,并对其进行加权.本文在全球TEC map数据上与ConvLSTM、ConvGRU、ED-ConvLSTM和C1PG进行了对比实验.实验结果表明,本文所提出的Residual Attention-BiConvLSTM模型的RMSE、MAE、MAPE和R^(2)在太阳活动高年和年均优于对比模型.本文还在一次磁暴事件中对比了5种模型的预测效果.实验结果表明,大磁暴发生时,本文模型与C1PG相近,优于其他3种对比模型.本文的研究工作为电离层map预测模型搭建提供一个新思路. 展开更多
关键词 电离层TEC map预测 残差注意力模块 Residual Attention-BiConvLSTM 时空预测模型
在线阅读 下载PDF
考虑恶化效应的MapReduce模型下的同类机调度 被引量:1
6
作者 黄基诞 《控制理论与应用》 EI CAS CSCD 北大核心 2020年第7期1628-1636,共9页
本文研究了MapReduce模型中考虑恶化效应的同类机调度问题.在MapReduce模型中每个工件加工必须经过两道工序.其中在第1道工序中每个工件加工任务可分割成若干个子任务且能并行加工,当某个工件中的所有子任务全部完成后,才允许启动第2道... 本文研究了MapReduce模型中考虑恶化效应的同类机调度问题.在MapReduce模型中每个工件加工必须经过两道工序.其中在第1道工序中每个工件加工任务可分割成若干个子任务且能并行加工,当某个工件中的所有子任务全部完成后,才允许启动第2道工序,且第2道工序只能在一台机器上连续加工.本文考虑了工件实际加工时间与其开工前的等待时间呈线性函数关系的恶化效应,构建了以最小化所有工件的逗留时间和为目标函数的混合整数规划模型,同时给出了问题的一个下界,最后设计了采用正余弦差分扰动机制的改进蝙蝠优化算法来求解模型.通过数值仿真对蝙蝠优化算法、遗传算法、CPLEX结果与下界进行对比,验证了模型的正确性和改进算法的有效性. 展开更多
关键词 恶化效应 同类机调度 蝙蝠优化算法 mapreduce 正余弦扰动
在线阅读 下载PDF
基于Map/Reduce并行编程模型的XBRL维度数据解析算法 被引量:1
7
作者 朱健鹏 王颖 杨诚 《中国科学院大学学报(中英文)》 CAS CSCD 北大核心 2014年第1期124-129,共6页
从XBRL维度数据处理的角度,研究大规模半结构化数据处理技术,提出一种基于Map/Reduce并行编程模型的XBRL维度数据解析算法.该算法在Map/Reduce编程模型和StAX流式解析技术的基础上,针对XBRL财务报告中各XML文件之间较复杂的数据引用关系... 从XBRL维度数据处理的角度,研究大规模半结构化数据处理技术,提出一种基于Map/Reduce并行编程模型的XBRL维度数据解析算法.该算法在Map/Reduce编程模型和StAX流式解析技术的基础上,针对XBRL财务报告中各XML文件之间较复杂的数据引用关系,以整份XBRL财务报告为处理的最小单位,结合并行技术提取维度事项所包含的数据,再处理业务语义数据,从而实现复杂XBRL维度数据的解析.性能比较分析表明,该算法在大规模XBRL数据处理方面具有显著优势. 展开更多
关键词 XBRL 半结构化数据处理 大数据处理 map reduce XBRL维度
在线阅读 下载PDF
云计算环境下的改进型Map-Reduce模型 被引量:7
8
作者 李震 杜中军 《计算机工程》 CAS CSCD 2012年第11期27-29,37,共4页
Map-Reduce模型在分配输入文件时没有考虑集群中大量异构节点的计算性能,导致运行map任务时网络数据传送量增加。针对该问题,提出一种云计算环境下的改进型Map-Reduce模型。根据集群中大量节点计算性能不同的特点,采用最小化最大计算时... Map-Reduce模型在分配输入文件时没有考虑集群中大量异构节点的计算性能,导致运行map任务时网络数据传送量增加。针对该问题,提出一种云计算环境下的改进型Map-Reduce模型。根据集群中大量节点计算性能不同的特点,采用最小化最大计算时间的目标函数进行建模,利用遗传算法求解该模型得到分配方案。仿真结果证明了该模型的有效性。 展开更多
关键词 云计算 map-reduce模型 异构环境 计算性能 遗传算法
在线阅读 下载PDF
基于Map/Reduce的朴素贝叶斯数据分类算法研究 被引量:12
9
作者 崔良中 郭福亮 宋建新 《海军工程大学学报》 CAS 北大核心 2019年第4期7-10,共4页
针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多... 针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多计算资源节点并行处理,进一步提高处理速度。最后,对UCI dataset数据库进行实验验证,结果表明:改进后的算法在海量数据分类处理中具有更好的性能表现。 展开更多
关键词 map/reduce并行编程模型 数据分类算法 贝叶斯算法 海量数据处理
在线阅读 下载PDF
基于Map/Reduce的改进选择算法在云计算的Web数据挖掘中的研究 被引量:13
10
作者 方少卿 周剑 张明新 《计算机应用研究》 CSCD 北大核心 2013年第2期377-379,395,共4页
针对目前在搜索方面的数据量大、搜索延迟的特点,提出了基于云计算的Web挖掘的搜索模型。采用提出的基于Map/Reduce模型的改进型算法,通过仿真实验验证了该算法的可行性,在一定程度上减少了搜索的代价,提高了搜索效率。
关键词 云计算 WEB数据挖掘 map reduce
在线阅读 下载PDF
基于MapReduce与相关子空间的局部离群数据挖掘算法 被引量:41
11
作者 张继福 李永红 +1 位作者 秦啸 荀亚玲 《软件学报》 EI CSCD 北大核心 2015年第5期1079-1095,共17页
针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密... 针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种Map Reduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性. 展开更多
关键词 局部离群数据 相关子空间 map reduce 局部稀疏度 概率密度
在线阅读 下载PDF
基于Map/Reduce的民航高价值旅客发现方法 被引量:5
12
作者 曹卫东 白亮 聂笑盈 《计算机工程与设计》 北大核心 2015年第4期1078-1083,共6页
为解决常旅客计划模型评价指标单一,不能准确识别高价值旅客的问题,提出一种将Map/Reduce并行处理与数据挖掘知识相结合的发现方法。利用Map/Reduce数据处理模型,在Hadoop分布式平台上并行处理海量PNR数据;根据改进的RFD模型,确定客户... 为解决常旅客计划模型评价指标单一,不能准确识别高价值旅客的问题,提出一种将Map/Reduce并行处理与数据挖掘知识相结合的发现方法。利用Map/Reduce数据处理模型,在Hadoop分布式平台上并行处理海量PNR数据;根据改进的RFD模型,确定客户价值指标,利用AHP层次分析法将专家经验值量化为指标权重;利用聚类分析技术识别高价值旅客,采用真实的PNR数据集进行实验。实验结果表明,该方法能够有效识别民航高价值旅客,为航空公司做出有效决策提供有利依据。 展开更多
关键词 map/reduce映射归约 数据挖掘 RFD模型 AHP层次分析法 客户价值
在线阅读 下载PDF
基于MapReduce的Web日志挖掘 被引量:15
13
作者 李彬 刘莉莉 《计算机工程与应用》 CSCD 2012年第22期95-98,共4页
针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Ha... 针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。 展开更多
关键词 云计算 map/reduce HADOOP平台 WEB日志挖掘 蚁群算法
在线阅读 下载PDF
一种基于MapReduce的短时交通流预测方法 被引量:11
14
作者 梁轲 谭建军 李英远 《计算机工程》 CAS CSCD 北大核心 2015年第1期174-179,共6页
非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K... 非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K最近邻算法的搜索速度。在数据预处理阶段利用遗传算法优化关键参数的设置,并采用Map Reduce加速参数优化过程,以解决遗传算法迭代运算时间长的问题。实验结果表明,该方法在保证交通流预测精度的前提下,明显提高了预测速度,并且具有较好的可伸缩性。 展开更多
关键词 交通流预测 非参数回归 K最近邻搜索 遗传算法 map reduce编程模型 并行计算
在线阅读 下载PDF
MapReduce框架下支持差分隐私保护的k-means聚类方法 被引量:25
15
作者 李洪成 吴晓平 陈燕 《通信学报》 EI CSCD 北大核心 2016年第2期124-130,共7页
针对传统隐私保护方法无法应对任意背景知识下恶意分析的问题,提出了分布式环境下满足差分隐私的k-means算法。该算法利用Map Reduce计算框架,由主任务控制k-means迭代执行;指派Mapper分任务独立并行计算各数据片中每条记录与聚类中心... 针对传统隐私保护方法无法应对任意背景知识下恶意分析的问题,提出了分布式环境下满足差分隐私的k-means算法。该算法利用Map Reduce计算框架,由主任务控制k-means迭代执行;指派Mapper分任务独立并行计算各数据片中每条记录与聚类中心的距离并标记其属于的聚类;指派Reducer分任务计算同一聚类中的记录数量num和属性向量之和sum,并利用Laplace机制产生的噪声扰动num和sum,进而实现隐私保护。根据差分隐私的组合特性,从理论角度证明整个算法满足ε-差分隐私保护。实验结果证明了该方法在提高隐私性和时效性的情况下,保证了较好的可用性。 展开更多
关键词 数据挖掘 K-均值聚类 map reduce 差分隐私保护 Laplace机制
在线阅读 下载PDF
基于Map Reduce的Bagging贝叶斯文本分类 被引量:2
16
作者 冀素琴 石洪波 卫洁 《计算机工程》 CAS CSCD 2012年第16期203-206,211,共5页
集中式系统框架难以进行海量文本数据分类。为此,提出一种基于Map Reduce的Bagging贝叶斯文本分类算法。介绍朴素贝叶斯文本分类算法,将其与Bagging算法结合,运用Map Reduce并行编程模型,在Hadoop平台上实现算法。实验结果表明,该算法... 集中式系统框架难以进行海量文本数据分类。为此,提出一种基于Map Reduce的Bagging贝叶斯文本分类算法。介绍朴素贝叶斯文本分类算法,将其与Bagging算法结合,运用Map Reduce并行编程模型,在Hadoop平台上实现算法。实验结果表明,该算法分类准确率较高,运行时间较短,适用于大规模文本数据集的分类学习。 展开更多
关键词 分布式 map reduce模型 文本分类 集成学习 朴素贝叶斯 BAGGING算法
在线阅读 下载PDF
基于Map Reduce的序列模式挖掘算法 被引量:2
17
作者 刘栋 尉永清 薛文娟 《计算机工程》 CAS CSCD 2012年第15期43-45,共3页
传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构... 传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间。采用Reduce函数对中间结果进行规约,得到全局序列模式。在Hadoop集群上的实验结果表明,MR PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和较好的可扩展性。 展开更多
关键词 云计算 并行处理 map reduce模型 PREFIXSPAN算法 序列模式 HADOOP平台
在线阅读 下载PDF
基于Map-Reduce的海量数据高效Skyline查询处理 被引量:44
18
作者 丁琳琳 信俊昌 +1 位作者 王国仁 黄山 《计算机学报》 EI CSCD 北大核心 2011年第10期1785-1796,共12页
Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,... Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性. 展开更多
关键词 云计算 SKYLINE查询 map-reduce 海量数据 HADOOP
在线阅读 下载PDF
基于Map-Reduce的大数据缺失值填充算法 被引量:18
19
作者 金连 王宏志 +1 位作者 黄沈滨 高宏 《计算机研究与发展》 EI CSCD 北大核心 2013年第S1期312-321,共10页
缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性... 缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性相关性而建立起来的贝叶斯网中完成.为实现大数据处理的并行化,在Map-Reduce框架中给出这两个算法.实验部分分别验证了贝叶斯网构建方法和概率推理对分类数据处理的有效性,以及算法在hadoop中运行的并行化程度. 展开更多
关键词 缺失值填充 概率推理 map-reduce
在线阅读 下载PDF
温度感知的MapReduce节能任务调度策略 被引量:8
20
作者 廖彬 张陶 +3 位作者 于炯 刘继 尹路通 郭刚 《通信学报》 EI CSCD 北大核心 2016年第1期61-75,共15页
现有的FIFO、Fair、Capacity、LATE及Deadline Constraint等Map Reduce任务调度器的主要区别在于队列与作业选择策略的不同,而任务选择策略基本相同,都是将数据的本地性(data-locality)作为选择的主要因素,忽略了对Task Tracker当前温... 现有的FIFO、Fair、Capacity、LATE及Deadline Constraint等Map Reduce任务调度器的主要区别在于队列与作业选择策略的不同,而任务选择策略基本相同,都是将数据的本地性(data-locality)作为选择的主要因素,忽略了对Task Tracker当前温度状态的考虑。实验表明,当Task Tracker处于高温状态时,一方面使CPU利用率变高,导致节点能耗增大,任务处理速度下降,导致任务完成时间增加;另一方面,易发的宕机现象将直接导致任务的失败,推测执行(speculative execution)机制容易使运行时任务被迫中止。继而提出温度感知的节能任务调度策略,将节点CPU温度纳入任务调度的决策信息,以避免少数高温任务执行节点对作业整体进度的影响。实验结果表明,算法能够避免任务分配到高温节点,从而有效地缩短作业完成时间,减小作业执行能耗,提高系统稳定性。 展开更多
关键词 绿色计算 mapreduce 任务调度 温度感知
在线阅读 下载PDF
上一页 1 2 10 下一页 到第
使用帮助 返回顶部