期刊文献+
共找到6篇文章
< 1 >
每页显示 20 50 100
基于Map/Reduce的朴素贝叶斯数据分类算法研究 被引量:12
1
作者 崔良中 郭福亮 宋建新 《海军工程大学学报》 CAS 北大核心 2019年第4期7-10,共4页
针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多... 针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多计算资源节点并行处理,进一步提高处理速度。最后,对UCI dataset数据库进行实验验证,结果表明:改进后的算法在海量数据分类处理中具有更好的性能表现。 展开更多
关键词 map/reduce并行编程模型 数据分类算法 贝叶斯算法 海量数据处理
在线阅读 下载PDF
一种基于MapReduce的短时交通流预测方法 被引量:11
2
作者 梁轲 谭建军 李英远 《计算机工程》 CAS CSCD 北大核心 2015年第1期174-179,共6页
非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K... 非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K最近邻算法的搜索速度。在数据预处理阶段利用遗传算法优化关键参数的设置,并采用Map Reduce加速参数优化过程,以解决遗传算法迭代运算时间长的问题。实验结果表明,该方法在保证交通流预测精度的前提下,明显提高了预测速度,并且具有较好的可伸缩性。 展开更多
关键词 交通流预测 非参数回归 K最近邻搜索 遗传算法 map reduce编程模型 并行计算
在线阅读 下载PDF
基于Map Reduce的序列模式挖掘算法 被引量:2
3
作者 刘栋 尉永清 薛文娟 《计算机工程》 CAS CSCD 2012年第15期43-45,共3页
传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构... 传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间。采用Reduce函数对中间结果进行规约,得到全局序列模式。在Hadoop集群上的实验结果表明,MR PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和较好的可扩展性。 展开更多
关键词 云计算 并行处理 map reduce模型 PREFIXSPAN算法 序列模式 HADOOP平台
在线阅读 下载PDF
基于并行Adaboost-BP网络的大规模在线学习行为评价 被引量:4
4
作者 曹建芳 郝耀军 《计算机应用与软件》 2017年第7期267-272,共6页
针对传统的在线学习行为评价方法在处理大规模数据集时面临的问题,提出一种基于并行AdaboostBP神经网络的在线学习行为评价方法。将BP神经网络作为弱预测器,由Adaboost算法组合15个BP神经网络的输出,构建了强预测器;充分利用了Hadoop平... 针对传统的在线学习行为评价方法在处理大规模数据集时面临的问题,提出一种基于并行AdaboostBP神经网络的在线学习行为评价方法。将BP神经网络作为弱预测器,由Adaboost算法组合15个BP神经网络的输出,构建了强预测器;充分利用了Hadoop平台下Map Reduce并行编程模型,提出了大规模在线学习行为的自动评价模型,设计了并行Adaboost-BP神经网络算法的Map和Reduce任务。多组实验表明,提出的算法准确率高、运行耗时少,取得了良好的加速比,效率大于0.5,适合大规模在线学习行为的自动评价。 展开更多
关键词 Adaboost-BP 神经网络 在线学习行为 特征提取 map reduce 并行编程模型
在线阅读 下载PDF
基于大数据聚类的电力系统中长期负荷预测 被引量:50
5
作者 徐源 程潜善 +3 位作者 李阳 张浩 余伟 何冰 《电力系统及其自动化学报》 CSCD 北大核心 2017年第8期43-48,共6页
随着电网数据收集能力的提升,积累了海量的负荷及相关数据,为负荷预测开辟了新的思路。提出了一种应用大数据技术的中长期负荷预测新方法。首先通过历史负荷序列的增长趋势、波动性等变化特性的参数化表达,实现负荷的标准化处理,形成大... 随着电网数据收集能力的提升,积累了海量的负荷及相关数据,为负荷预测开辟了新的思路。提出了一种应用大数据技术的中长期负荷预测新方法。首先通过历史负荷序列的增长趋势、波动性等变化特性的参数化表达,实现负荷的标准化处理,形成大数据聚类的样本;然后结合大数据分析平台的数据处理能力设计了基于Map Reduce并行编程模型的改进模糊K-means聚类方法,实现对负荷大数据的聚类划分;最后综合相同聚类负荷,并建立预测模型。计算结果表明,大数据聚类算法能有效地进行大量负荷数据的聚类划分,实现不同增长特性负荷的区分预测,具有较高的预测精度。 展开更多
关键词 大数据 中长期负荷预测 聚类分析 map reduce 并行编程
在线阅读 下载PDF
Hadoop平台下计算能力调度算法的改进与实现 被引量:4
6
作者 戴小平 张宜力 《计算机工程与应用》 CSCD 北大核心 2015年第19期61-65,共5页
在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排序并分配空闲的slot... 在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排序并分配空闲的slot给队首的作业,从而避免调度陷入局部最优也能更好地满足作业的多样性服务要求。在搭建的Hadoop平台上进行实验表明,改进后的算法能较均衡地分配系统资源减少一些作业的等待时间,并且运行全部作业的用时有所减少。 展开更多
关键词 云计算 作业调度 HADOOP 加权 map reduce编程模型
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部