期刊文献+
共找到44篇文章
< 1 2 3 >
每页显示 20 50 100
基于任务进度感知的异构Hadoop云平台任务调度方案 被引量:5
1
作者 刘莹 罗兴宇 +1 位作者 王宁 罗强 《计算机应用研究》 CSCD 北大核心 2017年第10期3139-3143,共5页
针对异构Hadoop云计算平台中任务调度问题进行了研究,并分析了现有推测执行调度和LATE调度方案的缺陷,提出一种基于任务进度感知的自适应任务调度方案。首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队... 针对异构Hadoop云计算平台中任务调度问题进行了研究,并分析了现有推测执行调度和LATE调度方案的缺陷,提出一种基于任务进度感知的自适应任务调度方案。首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队者(straggler)任务;然后,以平均节点任务进度的25%为阈值,将节点分为慢节点和快节点。当straggler后备任务达到一定阈值时,将其优先分配到快节点中执行。实验结果表明,提出的方案能够为异构Hadoop平台合理分配任务,有效降低了任务完成时间和响应延迟,同时提高了平台吞吐量。 展开更多
关键词 Hadooo云平台 任务调度 任务进度感知 掉队者任务 节点分类
在线阅读 下载PDF
风电场数据中心Hadoop云平台作业调度算法研究 被引量:4
2
作者 罗贤缙 岳黎明 甄成刚 《计算机工程与应用》 CSCD 北大核心 2015年第15期266-270,共5页
风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求... 风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。 展开更多
关键词 hadoop 云平台 调度算法 集群负载
在线阅读 下载PDF
基于Hadoop平台的SVM_WNB分类算法的研究 被引量:5
3
作者 黄刚 李正杰 《计算机应用研究》 CSCD 北大核心 2016年第11期3215-3218,共4页
SVM算法和朴素贝叶斯分类算法是对大量复杂数据分类中性能优秀的算法。然而它们的缺点使得分类效果受到了影响,而且传统的数据挖掘分类算法也无法满足对于海量数据的处理。针对这些问题,这里对传统的朴素贝叶斯算法进行了分析和改进,提... SVM算法和朴素贝叶斯分类算法是对大量复杂数据分类中性能优秀的算法。然而它们的缺点使得分类效果受到了影响,而且传统的数据挖掘分类算法也无法满足对于海量数据的处理。针对这些问题,这里对传统的朴素贝叶斯算法进行了分析和改进,提出了SVM_WNB分类算法,并且在Hadoop云平台上对算法实现并行化处理,使其能够对大数据进行处理。实验验证,改进后的算法在准确性和效率等方面有明显提升,在大数据的分类上将会起到显著的效果。 展开更多
关键词 大数据 数据挖掘 SVM_WNB算法 hadoop云平台 并行化
在线阅读 下载PDF
基于Hadoop的海量电信数据云计算平台研究 被引量:29
4
作者 黎宏剑 刘恒 +1 位作者 黄广文 卜立 《电信科学》 北大核心 2012年第8期80-85,共6页
传统的数据分析方法面对海量电信数据存在管理和分析难的问题。Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域。本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对... 传统的数据分析方法面对海量电信数据存在管理和分析难的问题。Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域。本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法 ,建立了基于Hadoop的海量电信数据云计算平台。实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率。 展开更多
关键词 云计算平台 hadoop MAPREDUCE 海量数据 电信运营商
在线阅读 下载PDF
基于Hadoop云平台的联合收割机远程监控系统研究 被引量:10
5
作者 李中显 蔡宗慧 《农机化研究》 北大核心 2017年第12期185-189,共5页
建立了云计算的海量数据处理数学模型和算法,并将Hadoop分布式计算方法引入到了数据库处理系统中,实现了数据库数据的自动分区和主从节点的设置,以及数据的分布式计算功能,得到了数据的处理速度、容量和传输速率等系统性能参数;结合农... 建立了云计算的海量数据处理数学模型和算法,并将Hadoop分布式计算方法引入到了数据库处理系统中,实现了数据库数据的自动分区和主从节点的设置,以及数据的分布式计算功能,得到了数据的处理速度、容量和传输速率等系统性能参数;结合农业生产中联合收割机应用越来越广泛,加之农田小路比较狭窄,给农田交通运输带来了的巨大压力等问题,提出了一套能够提供定位、监控、导航、车况采集等综合服务的联合收割机远程监控系统。通过对系统的测试,证明云存储平台在联合收割机监控系统中具有良好的表现,并具有很好的扩展性,为现代化的农业收割机监控系统提供了优越的条件。 展开更多
关键词 联合收割机 远程监控 云平台
在线阅读 下载PDF
基于Hadoop的监控数据存储与处理方案设计和实现 被引量:11
6
作者 池亚平 杨垠坦 +1 位作者 许萍 杨建喜 《计算机应用与软件》 北大核心 2018年第6期58-63,157,共7页
云计算环境下的监控系统会实时产生大量监控数据,如何在大数据的环境下实现对监控数据的高效存储和处理尤为重要。针对这一问题提出一种基于Hadoop的监控数据存储与处理的方案。该方案采用HBase数据库存储时序监控数据,并用提升字段法... 云计算环境下的监控系统会实时产生大量监控数据,如何在大数据的环境下实现对监控数据的高效存储和处理尤为重要。针对这一问题提出一种基于Hadoop的监控数据存储与处理的方案。该方案采用HBase数据库存储时序监控数据,并用提升字段法的宽表存储模型改进HBase数据库提升监控数据的存储效率;针对流量数据,采用MapReduce进行分布式计算处理提高处理效率。经过实验测试,验证了该方案的科学性和有效性,提高了海量监控数据下监控系统数据处理速度,解决了云计算环境下监控数据的计算瓶颈问题。 展开更多
关键词 hadoop HBASE 监控数据 分布式计算 云平台
在线阅读 下载PDF
Hadoop云平台中基于信任的访问控制模型 被引量:17
7
作者 刘莎 谭良 《计算机科学》 CSCD 北大核心 2014年第5期155-163,共9页
Hadoop云计算平台是当下最流行的云平台之一,其现有的访问控制模型采用Kerberos进行身份验证,结合基于ACL的访问授权机制,通过Delegation Token和Block Access Token等令牌,实现了该平台中简单的访问控制。该模型具有明显的缺点,即仅仅... Hadoop云计算平台是当下最流行的云平台之一,其现有的访问控制模型采用Kerberos进行身份验证,结合基于ACL的访问授权机制,通过Delegation Token和Block Access Token等令牌,实现了该平台中简单的访问控制。该模型具有明显的缺点,即仅仅在授权时考虑了用户身份的真实性,没有考虑用户后期行为的可信性,而且权限一经授予就不再监管。提出一种适用于Hadoop云平台的基于信任的访问控制新模型——LT。LT模型基于现有的Hadoop访问控制模型,为每个用户设定信任值,通过用户在集群中的行为记录实时地更新用户信任值,并根据这个信任值动态地控制用户对平台的访问。与Hadoop平台现有的访问控制模型相比,该模型所实现的访问授权不再是一个关口控制,而是一个实时动态的过程,其粒度更细并且具有更高的安全性和灵活度。实验证明,该模型不仅正确有效,而且克服了现行Hadoop平台中访问控制安全性不足的缺点,能够动态、有效地控制用户对集群中资源的访问及使用。 展开更多
关键词 云计算 云平台 hadoop 访问控制 信任值
在线阅读 下载PDF
基于Hadoop云平台的矿井指纹定位算法 被引量:1
8
作者 韩继英 李芳丽 朱元凯 《金属矿山》 CAS 北大核心 2023年第9期193-198,共6页
针对现有矿井指纹定位算法定位精度不高、实时性不强的问题,结合Hadoop云平台技术,提出了一种基于Hadoop云平台的矿井指纹定位算法。该算法首先在指纹特征提取前对矿井中的多基站信号源进行数据预处理,提高指纹特征的可靠性和鲁棒性;其... 针对现有矿井指纹定位算法定位精度不高、实时性不强的问题,结合Hadoop云平台技术,提出了一种基于Hadoop云平台的矿井指纹定位算法。该算法首先在指纹特征提取前对矿井中的多基站信号源进行数据预处理,提高指纹特征的可靠性和鲁棒性;其次,利用小波基函数对源指纹信号进行线性变换,并将多个基站信号分解成不同尺度的频带,得到具有代表性的指纹特征向量;再次,将每个待定位的矿工或移动设备信号分解为若干个子信号区域,并逐区域计算待测信号源与特征集之间的相关系数矩阵,根据相关系数矩阵实现指纹信息匹配;最后,利用多普勒效应和信号衰减原理,对每个节点的位置进行估计,获得每个节点的具体位置信息。在国内某矿井进行了定位试验,结果表明:相对于主流的指纹定位算法,所提出的矿井指纹定位算法能够快速、准确地定位矿井中的人或移动设备,具有较高的定位精度和实时性。该算法可以应用于实际的矿井安全监测和管理中,为矿井安全和高效生产提供支持。 展开更多
关键词 矿井指纹定位 hadoop 云平台 MAPREDUCE 指纹匹配
在线阅读 下载PDF
利用Hadoop云计算平台进行海量数据聚类分析 被引量:3
9
作者 刘海龙 宿宏毅 《舰船科学技术》 北大核心 2016年第14期148-150,共3页
海洋信息的飞速增长使其数据量越来越多,对数据进行合理的分类,能够有效的挖掘数据与数据之间的关系。本文首先描述传统的K-Mean聚类算法,并指出其影响因素,在此基础上进行改进,提出BRTI-KMeans算法,并将此算法与传统的K-Means算法和Can... 海洋信息的飞速增长使其数据量越来越多,对数据进行合理的分类,能够有效的挖掘数据与数据之间的关系。本文首先描述传统的K-Mean聚类算法,并指出其影响因素,在此基础上进行改进,提出BRTI-KMeans算法,并将此算法与传统的K-Means算法和Canopy-K-Means算法进行比较,以此说明本文算法在进行海量数据聚类分析方面具有优越性。 展开更多
关键词 hadoop云计算平台 聚类分析 聚类中心
在线阅读 下载PDF
基于hadoop的时隙优化任务调度策略研究 被引量:2
10
作者 邓志龙 付明月 张琦玮 《西北工业大学学报》 EI CAS CSCD 北大核心 2017年第1期32-37,共6页
针对分布式云计算平台hadoop任务调度中由于网络时延而导致的调度不平衡问题,提出一种基于时隙优化的任务调度算法。充分参考当前网络条件,将其作为任务调度的重要参考依据,利用SDN对网络带宽的管理能力,根据时隙策略分配带宽,结合局部... 针对分布式云计算平台hadoop任务调度中由于网络时延而导致的调度不平衡问题,提出一种基于时隙优化的任务调度算法。充分参考当前网络条件,将其作为任务调度的重要参考依据,利用SDN对网络带宽的管理能力,根据时隙策略分配带宽,结合局部性原理决定将任务分派到本地还是低负载的其他节点,从全局角度保证任务本地化比例较高的前提下以最优的方式高效分派任务,以提高系统整体的任务处理能力。依据算法设计调度器设计并进行实验,实验结果验证了算法的调度质量。 展开更多
关键词 云计算 hadoop平台 SDN架构 任务调度 时隙策略 负载均衡
在线阅读 下载PDF
Hadoop云平台用户动态访问控制模型 被引量:9
11
作者 杨宏宇 孟令现 《通信学报》 EI CSCD 北大核心 2017年第9期9-17,共9页
为解决Hadoop云平台无法动态控制用户访问请求的问题,提出一种基于用户行为评估的Hadoop云平台动态访问控制(DACUBA,dynamic access control based on user behavior assessment)模型。该模型首先实时收集用户指令序列,通过并行指令序... 为解决Hadoop云平台无法动态控制用户访问请求的问题,提出一种基于用户行为评估的Hadoop云平台动态访问控制(DACUBA,dynamic access control based on user behavior assessment)模型。该模型首先实时收集用户指令序列,通过并行指令序列学习(PCSL,parallel command sequence learning)获取用户行为轮廓。然后利用前向轮廓建立全局K模型,对后续行为序列进行分类并对分类结果进行评估。随后将评估结果与改进Hadoop访问控制机制结合,使云平台用户的访问权限随自身行为动态改变。最后通过实验验证了模型算法的有效性和动态访问控制机制的可行性。 展开更多
关键词 云平台 hadoop 用户行为 访问控制 并行指令序列学习
在线阅读 下载PDF
基于用户行为评估的Hadoop云平台动态访问控制 被引量:3
12
作者 杨宏宇 孟令现 《北京理工大学学报》 EI CAS CSCD 北大核心 2017年第10期1031-1035,1042,共6页
为解决现有Hadoop云平台访问控制缺乏动态性的问题,提出一种基于用户行为评估的Hadoop云平台动态访问控制模型(DACUBA).该模型采用指令序列学习(CSL)算法从用户指令序列中提取用户行为模式,利用全局模式库对用户行为进行分类并对分类结... 为解决现有Hadoop云平台访问控制缺乏动态性的问题,提出一种基于用户行为评估的Hadoop云平台动态访问控制模型(DACUBA).该模型采用指令序列学习(CSL)算法从用户指令序列中提取用户行为模式,利用全局模式库对用户行为进行分类并对分类结果进行行为评估,然后将评估值应用于Hadoop云平台的访问控制机制中实现动态访问控制.验证实验结果证明了DACUBA的有效性,与其他方法相比,该方法对云请求的访问控制效率较高,且稳定性较好. 展开更多
关键词 云平台 hadoop 用户行为 访问控制 指令序列学习
在线阅读 下载PDF
基于Hadoop平台下SVM的图像识别技术 被引量:5
13
作者 白灵 《现代电子技术》 北大核心 2016年第16期98-101,共4页
针对海量图像的识别技术进行研究,使用SVM算法作为图像识别模型,考虑到随着图像训练样本数据量逐步增大,训练样本呈现指数上升这一问题,在此对基于Hadoop云平台的并行运算SVM方法进行研究,缩短训练时间,加快图像识别效率。使用Corel图... 针对海量图像的识别技术进行研究,使用SVM算法作为图像识别模型,考虑到随着图像训练样本数据量逐步增大,训练样本呈现指数上升这一问题,在此对基于Hadoop云平台的并行运算SVM方法进行研究,缩短训练时间,加快图像识别效率。使用Corel图像库中图像进行实验研究,结果表明,常规单机SVM图像识别系统以及基于Hadoop平台SVM的图像识别系统的识别准确率相差不大。当Hadoop平台中拥有超过2个节点时,加速比明显上升,训练时间下降,Hadoop平台中使用SVM进行图像识别的效率优势体现出来。 展开更多
关键词 hadoop平台 图像识别 SVM 云计算 加速比
在线阅读 下载PDF
基于改进Hadoop的受限玻尔兹曼机云计算实现
14
作者 刘凯 张立民 +1 位作者 范晓磊 孙永威 《燕山大学学报》 CAS 北大核心 2015年第2期145-151,共7页
针对受限玻尔兹曼机(RBM)面对大数据时存在模型训练缓慢的问题,设计了基于Hadoop的RBM云计算实现方法.针对RBM训练方法,改进了Hadoop任务消息通信机制以适应模型迭代周期短的特点;设计了MapReduce框架,包括Map端实现吉布斯采样,Reduce... 针对受限玻尔兹曼机(RBM)面对大数据时存在模型训练缓慢的问题,设计了基于Hadoop的RBM云计算实现方法.针对RBM训练方法,改进了Hadoop任务消息通信机制以适应模型迭代周期短的特点;设计了MapReduce框架,包括Map端实现吉布斯采样,Reduce端完成参数更新;依据Hadoop任务组合方式,将RBM的训练应用于深度玻尔兹曼机(DBM)中.通过手写数字识别实验证明,该计算方法在大规模数据条件下能够有效加速RBM训练,且适应于深度学习模型的学习. 展开更多
关键词 云平台 受限玻尔兹曼机 并行编程
在线阅读 下载PDF
云计算Hadoop平台中基于遗传算法的高校师资培训资源管理 被引量:1
15
作者 牛志梅 《现代电子技术》 北大核心 2019年第21期120-124,共5页
为了提高高校教学质量和教学品牌影响力,必须打破单一的培训模式,以多样化资源共享的形式完成高校师资培训。而进行多样化培训资源共享时,高精度的培训资源管理成为目前急需解决的问题。文中深入探讨高校师资培训资源管理问题,建立基于... 为了提高高校教学质量和教学品牌影响力,必须打破单一的培训模式,以多样化资源共享的形式完成高校师资培训。而进行多样化培训资源共享时,高精度的培训资源管理成为目前急需解决的问题。文中深入探讨高校师资培训资源管理问题,建立基于云计算Hadoop平台的高校教育资源网架构,整合各大高校优秀教师培训资源,并采用基于遗传算法的高校师资培训资源调度方法实现高校师资培训资源管理。实验结果表明,所提方法在资源调度精度、资源利用率以及资源管理灵活性方面性能显著,应用价值可观。 展开更多
关键词 云计算 hadoop平台 遗传算法 高校师资培训 资源管理 资源共享
在线阅读 下载PDF
Hadoop平台下全局扩散性分组排列算法研究与实现
16
作者 周庆 王宏 《计算机工程与应用》 CSCD 2014年第20期91-95,129,共6页
随着云计算技术的蓬勃发展,各种应用产生的数据量日益庞大,然而目前大规模数据集的安全并未得到充分保障。密码学是确保数据安全的有效手段,但是将传统加密方法直接应用于大数据加密存在安全隐患。提出了针对大规模数据集加密的排列算法... 随着云计算技术的蓬勃发展,各种应用产生的数据量日益庞大,然而目前大规模数据集的安全并未得到充分保障。密码学是确保数据安全的有效手段,但是将传统加密方法直接应用于大数据加密存在安全隐患。提出了针对大规模数据集加密的排列算法,包括两方面工作:提出一种适用于大规模数据集的分组加密排列算法,对数据规模为2mN<2m+1的数据集,经过m+2轮加密可实现全局扩散;基于MapReduce编程模型,在Hadoop平台上实现了分组加密排列算法。理论分析与实验结果表明,该排列算法具有优异的全局扩散性。 展开更多
关键词 云计算 密码学 排列 扩散 hadoop平台 MAPREDUCE
在线阅读 下载PDF
基于Hadoop的海洋环境信息分布式架构设计 被引量:3
17
作者 袁延艺 金际航 李海滨 《海洋测绘》 CSCD 2019年第6期79-82,共4页
海洋环境信息建设是实现“认知海洋”、“透明海洋”、“智能海洋”的基础,从分散海洋环境信息海量数据采集、异构海洋环境信息的高效数据存储、基于节点动态性能的海量海洋环境信息数据处理与分析任务分配、基于人工智能的定向功能的... 海洋环境信息建设是实现“认知海洋”、“透明海洋”、“智能海洋”的基础,从分散海洋环境信息海量数据采集、异构海洋环境信息的高效数据存储、基于节点动态性能的海量海洋环境信息数据处理与分析任务分配、基于人工智能的定向功能的辅助决策等四个方面,探讨了基于Hadoop技术的海洋环境信息分布式架构设计方法,实现将海量、多源、异构、多时空、动态的海洋环境信息进行高效、高质、及时、快速的采集、传输、存储、处理、分析及智能化应用,以全面提升海洋环境自主信息感知获取、融合处理和应急保障能力。 展开更多
关键词 海洋环境信息 hadoop技术 云平台 分布式架构 辅助决策 大数据
在线阅读 下载PDF
基于Hadoop平台的OLAP煤炭销售数据分析系统 被引量:2
18
作者 聂瑞 卢建军 卫晨 《工矿自动化》 北大核心 2012年第11期77-80,共4页
针对煤炭销售数据量大而信息量少的问题,开发了基于Hadoop平台的OLAP煤炭销售数据分析系统,介绍了系统设计思想及架构,并以销售量统计为例阐述了实现数据深层次快速挖掘和直观显示的具体过程。该系统利用Hadoop云平台对数据进行ETL处理... 针对煤炭销售数据量大而信息量少的问题,开发了基于Hadoop平台的OLAP煤炭销售数据分析系统,介绍了系统设计思想及架构,并以销售量统计为例阐述了实现数据深层次快速挖掘和直观显示的具体过程。该系统利用Hadoop云平台对数据进行ETL处理,创建Hive分布式数据仓库,并采用Hive的HQL语言进行OLAP统计分析,能够快速、准确地实现对销售量信息的多层次、多角度、深层次的数据挖掘、统计和分析,并直观、多角度地反映数据分析结果。 展开更多
关键词 煤炭销售 hadoop平台 OLAP技术 云计算 数据挖掘 数据仓库
在线阅读 下载PDF
基于Hadoop云平台的空间属性数据挖掘技术研究 被引量:24
19
作者 李娟 《南京理工大学学报》 CAS CSCD 北大核心 2022年第4期419-426,共8页
为了提升数据挖掘效率,为众多空间数据应用领域提供数据支撑,提出基于Hadoop云平台的空间属性数据挖掘技术:利用分布式编程模型MapReduce和Hadoop分布式文件系统构建Hadoop云平台,在云平台中实现分布式计算、数据挖掘、业务响应以及用... 为了提升数据挖掘效率,为众多空间数据应用领域提供数据支撑,提出基于Hadoop云平台的空间属性数据挖掘技术:利用分布式编程模型MapReduce和Hadoop分布式文件系统构建Hadoop云平台,在云平台中实现分布式计算、数据挖掘、业务响应以及用户交互;其中数据挖掘层利用归一化变换将空间数据与属性数据调整为正态分布并统一量纲后,采用快速独立成分分析算法去噪处理变换后数据;依据贝叶斯分类理论以及极大后验和似然假设构建朴素贝叶斯分类器,将去噪处理后的数据作为分类器输入,完成空间属性数据挖掘。试验结果表明该技术应用在农业生产中,可以增加经济效益,数据经去噪后峰值信噪比与结构相似性较高,可有效挖掘城市空间属性数据,且具有较高数据挖掘速度。 展开更多
关键词 hadoop云平台 空间属性 数据挖掘技术 hadoop分布式文件系统 用户交互 分布式计算
在线阅读 下载PDF
基于Hadoop平台的高阶矩阵相乘MapReduce算法研究 被引量:4
20
作者 向林泓 陈芋文 张昱琳 《计算机科学》 CSCD 北大核心 2013年第06A期96-98,共3页
目前,针对基于单一节点的中高阶矩阵相乘存在着计算瓶颈,甚至因内存溢出导致计算机崩溃等问题,结合利用云计算分布式处理和虚拟化技术的优势,提出一种基于Hadoop平台的高阶矩阵相乘的MapReduce算法。实验结果表明:该算法能够有效地解决... 目前,针对基于单一节点的中高阶矩阵相乘存在着计算瓶颈,甚至因内存溢出导致计算机崩溃等问题,结合利用云计算分布式处理和虚拟化技术的优势,提出一种基于Hadoop平台的高阶矩阵相乘的MapReduce算法。实验结果表明:该算法能够有效地解决高阶矩阵相乘中存在的计算瓶颈问题,同时提高了计算效率。 展开更多
关键词 MAPREDUCE 高阶矩阵相乘 云计算 hadoop平台
在线阅读 下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部