期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
基于Map Reduce的Bagging贝叶斯文本分类 被引量:2
1
作者 冀素琴 石洪波 卫洁 《计算机工程》 CAS CSCD 2012年第16期203-206,211,共5页
集中式系统框架难以进行海量文本数据分类。为此,提出一种基于Map Reduce的Bagging贝叶斯文本分类算法。介绍朴素贝叶斯文本分类算法,将其与Bagging算法结合,运用Map Reduce并行编程模型,在Hadoop平台上实现算法。实验结果表明,该算法... 集中式系统框架难以进行海量文本数据分类。为此,提出一种基于Map Reduce的Bagging贝叶斯文本分类算法。介绍朴素贝叶斯文本分类算法,将其与Bagging算法结合,运用Map Reduce并行编程模型,在Hadoop平台上实现算法。实验结果表明,该算法分类准确率较高,运行时间较短,适用于大规模文本数据集的分类学习。 展开更多
关键词 分布式 MAP reduce模型 文本分类 集成学习 朴素贝叶斯 BAGGING算法
在线阅读 下载PDF
基于Map Reduce的序列模式挖掘算法 被引量:2
2
作者 刘栋 尉永清 薛文娟 《计算机工程》 CAS CSCD 2012年第15期43-45,共3页
传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构... 传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间。采用Reduce函数对中间结果进行规约,得到全局序列模式。在Hadoop集群上的实验结果表明,MR PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和较好的可扩展性。 展开更多
关键词 云计算 并行处理 MAP reduce模型 PREFIXSPAN算法 序列模式 HADOOP平台
在线阅读 下载PDF
基于模拟退火的Map Reduce调度算法 被引量:9
3
作者 遆鸣 陈俊杰 强彦 《计算机工程》 CAS CSCD 2012年第19期45-48,共4页
在计算能力作业调度算法的基础上,提出一种基于模拟退火的Map Reduce作业调度算法。利用带记忆功能的模拟退火算法选择最优作业,从而避免陷入局部最优解。在Hadoop平台上的实验结果表明,该算法能减少所有作业的运行时间以及每个作业的... 在计算能力作业调度算法的基础上,提出一种基于模拟退火的Map Reduce作业调度算法。利用带记忆功能的模拟退火算法选择最优作业,从而避免陷入局部最优解。在Hadoop平台上的实验结果表明,该算法能减少所有作业的运行时间以及每个作业的等待响应时间,具有较高的作业调度效率及用户满意度。 展开更多
关键词 云计算 作业调度 HADOOP平台 模拟退火 MAP reduce模型 局部最优
在线阅读 下载PDF
基于MapReduce的SQL查询优化分析 被引量:2
4
作者 张首正 周凯东 《计算机应用》 CSCD 北大核心 2014年第A02期63-65,共3页
对SQL翻译成Map Reduce程序的性能进行分析,并对影响翻译性能的原因进行阐述。结合Map Reduce作业间输入相关性、数据转换相关性和作业流相关性的分析,通过合并冗余的作业,减少资源消耗,从而达到提高SQL查询性能的目的,给出了优化条件... 对SQL翻译成Map Reduce程序的性能进行分析,并对影响翻译性能的原因进行阐述。结合Map Reduce作业间输入相关性、数据转换相关性和作业流相关性的分析,通过合并冗余的作业,减少资源消耗,从而达到提高SQL查询性能的目的,给出了优化条件和优化规则。通过对优化前后的性能进行对比,证明改进后的SQL过程有更高的执行效率。 展开更多
关键词 大数据 SQL查询 性能优化 MAP reduce模型
在线阅读 下载PDF
一种基于MapReduce的短时交通流预测方法 被引量:11
5
作者 梁轲 谭建军 李英远 《计算机工程》 CAS CSCD 北大核心 2015年第1期174-179,共6页
非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K... 非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K最近邻算法的搜索速度。在数据预处理阶段利用遗传算法优化关键参数的设置,并采用Map Reduce加速参数优化过程,以解决遗传算法迭代运算时间长的问题。实验结果表明,该方法在保证交通流预测精度的前提下,明显提高了预测速度,并且具有较好的可伸缩性。 展开更多
关键词 交通流预测 非参数回归 K最近邻搜索 遗传算法 Map reduce编程模型 并行计算
在线阅读 下载PDF
基于Map/Reduce的朴素贝叶斯数据分类算法研究 被引量:12
6
作者 崔良中 郭福亮 宋建新 《海军工程大学学报》 CAS 北大核心 2019年第4期7-10,共4页
针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多... 针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多计算资源节点并行处理,进一步提高处理速度。最后,对UCI dataset数据库进行实验验证,结果表明:改进后的算法在海量数据分类处理中具有更好的性能表现。 展开更多
关键词 Map/reduce并行编程模型 数据分类算法 贝叶斯算法 海量数据处理
在线阅读 下载PDF
面向大数据系统的检测器快速筛选算法 被引量:1
7
作者 蔡涛 倪晓蓉 +1 位作者 王伟生 牛德姣 《计算机工程》 CAS CSCD 北大核心 2015年第9期45-50,共6页
筛选成熟检测器是决定人工免疫系统性能和效率的关键因素,在大数据环境下由于初始检测器的数量极其庞大,会造成现有检测器筛选算法时间开销过大。针对该问题,提出一种新的海量初始检测器快速筛选算法。设计海量初始检测器的分布存储模式... 筛选成熟检测器是决定人工免疫系统性能和效率的关键因素,在大数据环境下由于初始检测器的数量极其庞大,会造成现有检测器筛选算法时间开销过大。针对该问题,提出一种新的海量初始检测器快速筛选算法。设计海量初始检测器的分布存储模式,利用Map/Reduce模型,给出混合式初始检测器快速筛选架构、海量初始检测器分区检查策略和成熟检测器集优化策略,以提高筛选初始检测器的效率,优化成熟检测器。在Hadoop集群中实现面向大数据系统检测器快速筛选算法原型系统,使用CERT synthethic sendmail data数据集进行测试与分析,结果表明,与传统算法相比,该算法能减少58.87%的时间开销,并在初始检测器数量不断增加时保持时间开销的稳定。 展开更多
关键词 检测器生成算法 大数据系统 人工免疫系统 Map/reduce模型
在线阅读 下载PDF
Hadoop平台下计算能力调度算法的改进与实现 被引量:4
8
作者 戴小平 张宜力 《计算机工程与应用》 CSCD 北大核心 2015年第19期61-65,共5页
在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排序并分配空闲的slot... 在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排序并分配空闲的slot给队首的作业,从而避免调度陷入局部最优也能更好地满足作业的多样性服务要求。在搭建的Hadoop平台上进行实验表明,改进后的算法能较均衡地分配系统资源减少一些作业的等待时间,并且运行全部作业的用时有所减少。 展开更多
关键词 云计算 作业调度 HADOOP 加权 Map reduce编程模型
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部