期刊文献+
共找到124篇文章
< 1 2 7 >
每页显示 20 50 100
基于Hadoop平台的日志分析模型 被引量:14
1
作者 于兆良 张文涛 +2 位作者 葛慧 艾伟 孙运乾 《计算机工程与设计》 北大核心 2016年第2期338-344,428,共8页
为提高企业网络内海量日志数据的分析效率,构建基于Hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行... 为提高企业网络内海量日志数据的分析效率,构建基于Hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行为规则库,将实时日志与规则库中的规则进行模式匹配,实现对用户异常行为的检测。实验结果表明,该模型算法明显提高了日志分析效率。 展开更多
关键词 HADOOP平台 日志分析 MapReduce编程模式 APRIORI算法 数据挖掘 并行化
在线阅读 下载PDF
基于Hadoop平台的改进关联规则挖掘算法 被引量:15
2
作者 王英博 马菁 +1 位作者 柴佳佳 赵彬 《计算机工程》 CAS CSCD 北大核心 2016年第10期69-74,79,共7页
数据采集方式的增多导致单处理器下的关联规则挖掘受到I/O和内存的限制。针对该问题,对传统挖掘算法进行改进。借助Hadoop平台的优势,通过累加迭代的方法降低算法的时间复杂度,并利用MapReduce编程特点,通过一次遍历和MapReduce任务调... 数据采集方式的增多导致单处理器下的关联规则挖掘受到I/O和内存的限制。针对该问题,对传统挖掘算法进行改进。借助Hadoop平台的优势,通过累加迭代的方法降低算法的时间复杂度,并利用MapReduce编程特点,通过一次遍历和MapReduce任务调度完成频繁项集挖掘,在强关联挖掘中通过Sqoop组件将外部表Hive中的数据迁移到Redis,实现数据的高速读取。实验结果表明,该方法可有效提高挖掘效率,提高幅度随数据集规模同步增大,并且具有较好的加速比和扩展性。 展开更多
关键词 HADOOP平台 MapReduce编程 关联规则 大数据 数据挖掘
在线阅读 下载PDF
基于加密区块链的双创信息交互技术研究
3
作者 程顺达 祝婕 +2 位作者 关胜江 程杰 窦彤 《现代电子技术》 北大核心 2025年第3期92-96,共5页
针对共享双创网络平台数据传输过程中普遍存在隐私性差且安全性较低的问题,文中基于区块链和数据加密技术提出一种信息共享算法。该区块链模型的网络层使用了多台局域网计算机节点,并在数据传输时采用混合加密算法DES⁃ECC,从而使安全性... 针对共享双创网络平台数据传输过程中普遍存在隐私性差且安全性较低的问题,文中基于区块链和数据加密技术提出一种信息共享算法。该区块链模型的网络层使用了多台局域网计算机节点,并在数据传输时采用混合加密算法DES⁃ECC,从而使安全性与加解密效率相比单一加密算法均有所提升。共识机制还通过使用PBFT算法增强了模型的整体鲁棒性。同时,将算法部署在Hadoop分布式存储架构中,以提高数据传输的速度及吞吐量,且利用Namenode容灾机制进一步保证了数据的安全性。实验测试结果表明,所提加密算法的破译难度较高,而加解密时长仅需约1260 ms,其共识机制吞吐量与时延性能也较为理想,可以实现对双创平台中的大数据进行高效、安全、透明的共享与传输。 展开更多
关键词 区块链 DES加密 ECC加密 拜占庭容错机制 HADOOP平台 双创数据共享
在线阅读 下载PDF
基于Hadoop分布式支持向量机球磨机大数据建模 被引量:10
4
作者 高学伟 付忠广 +1 位作者 孙力 张刚 《河北大学学报(自然科学版)》 CAS 北大核心 2017年第3期309-315,共7页
大数据时代环境下,火电厂大量数据被存储到数据库中而不能被充分利用,由于双进双出钢球磨煤机系统的复杂性,很难建立其准确的机理数学模型,为此提出一种基于大数据挖掘的建模方法.首先分析影响磨煤机料位的因素,提取现场海量的实际运行... 大数据时代环境下,火电厂大量数据被存储到数据库中而不能被充分利用,由于双进双出钢球磨煤机系统的复杂性,很难建立其准确的机理数学模型,为此提出一种基于大数据挖掘的建模方法.首先分析影响磨煤机料位的因素,提取现场海量的实际运行数据,在Hadoop平台下利用K-Means聚类算法删除离群点,利用主成分分析法(PCA)降维完成属性约简,然后在MapReduce架构上采用分布式支持向量机(D_SVM)建立模型,实现计算并行化.结果表明,采取该方法提高了建模效率,所建立的模型具有很高的精确度,且具有很好的泛化能力,该模型可以用于表征实际料位的特性. 展开更多
关键词 双进双出磨煤机 HADOOP平台 分布式支持向量机 K-MEANS聚类 主成分分析
在线阅读 下载PDF
Hadoop平台下基于资源预测的Delay调度算法 被引量:6
5
作者 魏晓辉 付庆午 李洪亮 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2013年第1期101-106,共6页
针对Delay算法的不合理等待问题,提出一种基于资源预测的Delay调度算法(RFD),该算法基于对资源可用性的预测方法合理地调度作业.实验结果表明,在Hadoop机群一般应用场景下,该调度算法与已有算法相比,在保证作业本地化计算Map任务比例相... 针对Delay算法的不合理等待问题,提出一种基于资源预测的Delay调度算法(RFD),该算法基于对资源可用性的预测方法合理地调度作业.实验结果表明,在Hadoop机群一般应用场景下,该调度算法与已有算法相比,在保证作业本地化计算Map任务比例相近的同时,将作业平均运行效率提高28.8%,明显提高了Mapreduce作业的执行效率. 展开更多
关键词 HADOOP平台 MAPREDUCE模型 资源调度 资源预测 Delay调度
在线阅读 下载PDF
基于Hadoop的海量电信数据云计算平台研究 被引量:29
6
作者 黎宏剑 刘恒 +1 位作者 黄广文 卜立 《电信科学》 北大核心 2012年第8期80-85,共6页
传统的数据分析方法面对海量电信数据存在管理和分析难的问题。Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域。本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对... 传统的数据分析方法面对海量电信数据存在管理和分析难的问题。Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域。本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法 ,建立了基于Hadoop的海量电信数据云计算平台。实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率。 展开更多
关键词 云计算平台 HADOOP MAPREDUCE 海量数据 电信运营商
在线阅读 下载PDF
基于Hadoop的电信BSS大数据平台建设研究 被引量:16
7
作者 陈娜 徐歆壹 +1 位作者 宋红兵 何毅 《电信科学》 北大核心 2013年第3期36-40,47,共6页
当前电信运营商从传统的"话音+短信+增值业务"的业务模式转变为"话音+应用+流量"的业务模式,电信的核心战略转向流量经营。在该背景下,大数据是电信IT支撑面临的首要技术课题。本文主要研究使用Hadoop平台搭建流量... 当前电信运营商从传统的"话音+短信+增值业务"的业务模式转变为"话音+应用+流量"的业务模式,电信的核心战略转向流量经营。在该背景下,大数据是电信IT支撑面临的首要技术课题。本文主要研究使用Hadoop平台搭建流量经营大数据管理和大数据服务的一种分布式平台,同时通过实验数据,论证该平台与传统IT架构对比的优势。 展开更多
关键词 大数据 平台 HADOOP HBASE 高可用
在线阅读 下载PDF
Hadoop平台下基于内容的医学图像检索 被引量:3
8
作者 郝娟 吕晓琪 +2 位作者 温秀梅 谷宇 黄显武 《现代电子技术》 北大核心 2017年第4期115-119,共5页
针对海量医学图像存储及检索效率低的问题,该文提出利用Hadoop平台分别实现大量医学图像的分布式存储以及并行处理模式下的基于内容的医学图像检索。利用HIPI图像处理接口将医学图像上传到分布式文件系统(HDFS)中;然后,分别提取图像的... 针对海量医学图像存储及检索效率低的问题,该文提出利用Hadoop平台分别实现大量医学图像的分布式存储以及并行处理模式下的基于内容的医学图像检索。利用HIPI图像处理接口将医学图像上传到分布式文件系统(HDFS)中;然后,分别提取图像的形状以及纹理特征,并将其特征向量存储到HDFS中;最后,利用Map Reduce模型实现并行式检索并将图像检索结果按照相似度大小进行排序及显示。实验结果表明,在Hadoop云平台下大量医学图像的存储效率以及检索效率较高,且图像数量越多效率优势越明显。 展开更多
关键词 HADOOP平台 分布式存储 并行处理 医学图像检索
在线阅读 下载PDF
基于任务进度感知的异构Hadoop云平台任务调度方案 被引量:5
9
作者 刘莹 罗兴宇 +1 位作者 王宁 罗强 《计算机应用研究》 CSCD 北大核心 2017年第10期3139-3143,共5页
针对异构Hadoop云计算平台中任务调度问题进行了研究,并分析了现有推测执行调度和LATE调度方案的缺陷,提出一种基于任务进度感知的自适应任务调度方案。首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队... 针对异构Hadoop云计算平台中任务调度问题进行了研究,并分析了现有推测执行调度和LATE调度方案的缺陷,提出一种基于任务进度感知的自适应任务调度方案。首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队者(straggler)任务;然后,以平均节点任务进度的25%为阈值,将节点分为慢节点和快节点。当straggler后备任务达到一定阈值时,将其优先分配到快节点中执行。实验结果表明,提出的方案能够为异构Hadoop平台合理分配任务,有效降低了任务完成时间和响应延迟,同时提高了平台吞吐量。 展开更多
关键词 Hadooo云平台 任务调度 任务进度感知 掉队者任务 节点分类
在线阅读 下载PDF
基于Hadoop平台的船舶通信数据高效传输方法研究 被引量:6
10
作者 王丹 赵凯 +1 位作者 王毅 谷学汇 《舰船科学技术》 北大核心 2020年第10期124-126,共3页
传统船舶通信数据传输方法对于船舶通信数据的初始收集力度较小,数据收集完整度较低,系统传输效率较差,不符合系统发展要求。针对这一问题,基于Hadoop平台提出一种新式船舶通信数据高效传输方法研究,通过强化系统内部的数据信息采集性... 传统船舶通信数据传输方法对于船舶通信数据的初始收集力度较小,数据收集完整度较低,系统传输效率较差,不符合系统发展要求。针对这一问题,基于Hadoop平台提出一种新式船舶通信数据高效传输方法研究,通过强化系统内部的数据信息采集性能加大对数据的初始采集力度,完善研究操作的数据信息内容,在此基础上利用相应的数据平台算法进行数据传输处理,分析传输所需条件与数据状态,并加强数据保护,由此实现对船舶通信数据高效传输的方法研究。为验证方法研究的工作效果,与传统方法研究进行实验研究。结果表明,基于Hadoop平台的船舶通信数据高效传输方法研究具有较高的系统传输效率,数据收集完整度高,符合数据系统需求。 展开更多
关键词 HADOOP平台 船舶通信 通信数据高效传输 高效传输方法研究
在线阅读 下载PDF
基于hadoop的时隙优化任务调度策略研究 被引量:2
11
作者 邓志龙 付明月 张琦玮 《西北工业大学学报》 EI CAS CSCD 北大核心 2017年第1期32-37,共6页
针对分布式云计算平台hadoop任务调度中由于网络时延而导致的调度不平衡问题,提出一种基于时隙优化的任务调度算法。充分参考当前网络条件,将其作为任务调度的重要参考依据,利用SDN对网络带宽的管理能力,根据时隙策略分配带宽,结合局部... 针对分布式云计算平台hadoop任务调度中由于网络时延而导致的调度不平衡问题,提出一种基于时隙优化的任务调度算法。充分参考当前网络条件,将其作为任务调度的重要参考依据,利用SDN对网络带宽的管理能力,根据时隙策略分配带宽,结合局部性原理决定将任务分派到本地还是低负载的其他节点,从全局角度保证任务本地化比例较高的前提下以最优的方式高效分派任务,以提高系统整体的任务处理能力。依据算法设计调度器设计并进行实验,实验结果验证了算法的调度质量。 展开更多
关键词 云计算 HADOOP平台 SDN架构 任务调度 时隙策略 负载均衡
在线阅读 下载PDF
风电场数据中心Hadoop云平台作业调度算法研究 被引量:4
12
作者 罗贤缙 岳黎明 甄成刚 《计算机工程与应用》 CSCD 北大核心 2015年第15期266-270,共5页
风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求... 风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。 展开更多
关键词 HADOOP 云平台 调度算法 集群负载
在线阅读 下载PDF
基于Hadoop平台的SVM_WNB分类算法的研究 被引量:5
13
作者 黄刚 李正杰 《计算机应用研究》 CSCD 北大核心 2016年第11期3215-3218,共4页
SVM算法和朴素贝叶斯分类算法是对大量复杂数据分类中性能优秀的算法。然而它们的缺点使得分类效果受到了影响,而且传统的数据挖掘分类算法也无法满足对于海量数据的处理。针对这些问题,这里对传统的朴素贝叶斯算法进行了分析和改进,提... SVM算法和朴素贝叶斯分类算法是对大量复杂数据分类中性能优秀的算法。然而它们的缺点使得分类效果受到了影响,而且传统的数据挖掘分类算法也无法满足对于海量数据的处理。针对这些问题,这里对传统的朴素贝叶斯算法进行了分析和改进,提出了SVM_WNB分类算法,并且在Hadoop云平台上对算法实现并行化处理,使其能够对大数据进行处理。实验验证,改进后的算法在准确性和效率等方面有明显提升,在大数据的分类上将会起到显著的效果。 展开更多
关键词 大数据 数据挖掘 SVM_WNB算法 Hadoop云平台 并行化
在线阅读 下载PDF
Hadoop云平台中基于信任的访问控制模型 被引量:17
14
作者 刘莎 谭良 《计算机科学》 CSCD 北大核心 2014年第5期155-163,共9页
Hadoop云计算平台是当下最流行的云平台之一,其现有的访问控制模型采用Kerberos进行身份验证,结合基于ACL的访问授权机制,通过Delegation Token和Block Access Token等令牌,实现了该平台中简单的访问控制。该模型具有明显的缺点,即仅仅... Hadoop云计算平台是当下最流行的云平台之一,其现有的访问控制模型采用Kerberos进行身份验证,结合基于ACL的访问授权机制,通过Delegation Token和Block Access Token等令牌,实现了该平台中简单的访问控制。该模型具有明显的缺点,即仅仅在授权时考虑了用户身份的真实性,没有考虑用户后期行为的可信性,而且权限一经授予就不再监管。提出一种适用于Hadoop云平台的基于信任的访问控制新模型——LT。LT模型基于现有的Hadoop访问控制模型,为每个用户设定信任值,通过用户在集群中的行为记录实时地更新用户信任值,并根据这个信任值动态地控制用户对平台的访问。与Hadoop平台现有的访问控制模型相比,该模型所实现的访问授权不再是一个关口控制,而是一个实时动态的过程,其粒度更细并且具有更高的安全性和灵活度。实验证明,该模型不仅正确有效,而且克服了现行Hadoop平台中访问控制安全性不足的缺点,能够动态、有效地控制用户对集群中资源的访问及使用。 展开更多
关键词 云计算 云平台 HADOOP 访问控制 信任值
在线阅读 下载PDF
基于Hadoop云平台的联合收割机远程监控系统研究 被引量:10
15
作者 李中显 蔡宗慧 《农机化研究》 北大核心 2017年第12期185-189,共5页
建立了云计算的海量数据处理数学模型和算法,并将Hadoop分布式计算方法引入到了数据库处理系统中,实现了数据库数据的自动分区和主从节点的设置,以及数据的分布式计算功能,得到了数据的处理速度、容量和传输速率等系统性能参数;结合农... 建立了云计算的海量数据处理数学模型和算法,并将Hadoop分布式计算方法引入到了数据库处理系统中,实现了数据库数据的自动分区和主从节点的设置,以及数据的分布式计算功能,得到了数据的处理速度、容量和传输速率等系统性能参数;结合农业生产中联合收割机应用越来越广泛,加之农田小路比较狭窄,给农田交通运输带来了的巨大压力等问题,提出了一套能够提供定位、监控、导航、车况采集等综合服务的联合收割机远程监控系统。通过对系统的测试,证明云存储平台在联合收割机监控系统中具有良好的表现,并具有很好的扩展性,为现代化的农业收割机监控系统提供了优越的条件。 展开更多
关键词 联合收割机 远程监控 云平台
在线阅读 下载PDF
基于混沌PSO算法的Hadoop配置优化 被引量:1
16
作者 柳香 李俊红 段胜业 《计算机工程》 CAS CSCD 2012年第11期186-188,195,共4页
针对Hadoop的组合优化问题,提出一种基于混沌粒子群优化算法的配置优化策略。为保证算法在进行局部搜索的同时避免陷入局部最优,对陷入局部最优的标准值和混沌处理的迭代次数的不同组合进行实验,获得使Hadoop性能达到最优的配置。实验... 针对Hadoop的组合优化问题,提出一种基于混沌粒子群优化算法的配置优化策略。为保证算法在进行局部搜索的同时避免陷入局部最优,对陷入局部最优的标准值和混沌处理的迭代次数的不同组合进行实验,获得使Hadoop性能达到最优的配置。实验结果表明,算法得出的最优配置方案能够有效提高Hadoop的性能,具有较好的稳定性。 展开更多
关键词 HADOOP平台 分布式系统 配置方案 性能优化 粒子群优化算法 混沌算法
在线阅读 下载PDF
基于Hadoop平台下SVM的图像识别技术 被引量:5
17
作者 白灵 《现代电子技术》 北大核心 2016年第16期98-101,共4页
针对海量图像的识别技术进行研究,使用SVM算法作为图像识别模型,考虑到随着图像训练样本数据量逐步增大,训练样本呈现指数上升这一问题,在此对基于Hadoop云平台的并行运算SVM方法进行研究,缩短训练时间,加快图像识别效率。使用Corel图... 针对海量图像的识别技术进行研究,使用SVM算法作为图像识别模型,考虑到随着图像训练样本数据量逐步增大,训练样本呈现指数上升这一问题,在此对基于Hadoop云平台的并行运算SVM方法进行研究,缩短训练时间,加快图像识别效率。使用Corel图像库中图像进行实验研究,结果表明,常规单机SVM图像识别系统以及基于Hadoop平台SVM的图像识别系统的识别准确率相差不大。当Hadoop平台中拥有超过2个节点时,加速比明显上升,训练时间下降,Hadoop平台中使用SVM进行图像识别的效率优势体现出来。 展开更多
关键词 HADOOP平台 图像识别 SVM 云计算 加速比
在线阅读 下载PDF
基于Hadoop分布式计算平台的磁流体动力学模型仿真研究 被引量:1
18
作者 刘继华 强彦 《计算机应用研究》 CSCD 北大核心 2017年第5期1353-1357,共5页
针对磁流体动力学(MHD)仿真需要高计算能力的问题,设计了一种基于Hadoop分布式计算平台的MHD仿真器。将Spark和Hama两种分布式并行计算模型整合到Hadoop生态系统中,分别用于支持内存计算和整体同步并行计算。将Hadoop集群构建成master-s... 针对磁流体动力学(MHD)仿真需要高计算能力的问题,设计了一种基于Hadoop分布式计算平台的MHD仿真器。将Spark和Hama两种分布式并行计算模型整合到Hadoop生态系统中,分别用于支持内存计算和整体同步并行计算。将Hadoop集群构建成master-slave对等结构,解决全局同步和局部同步问题。最后,在Hadoop集群上,利用有限体积法和黎曼问题来求解MHD方程。实验结果表明,该仿真器能够精确模拟MHD,同时大大缩短了仿真计算时间。 展开更多
关键词 HADOOP平台 科学计算仿真 master-slave对等结构 磁流体动力学 有限体积法
在线阅读 下载PDF
基于Hadoop云平台的矿井指纹定位算法 被引量:1
19
作者 韩继英 李芳丽 朱元凯 《金属矿山》 CAS 北大核心 2023年第9期193-198,共6页
针对现有矿井指纹定位算法定位精度不高、实时性不强的问题,结合Hadoop云平台技术,提出了一种基于Hadoop云平台的矿井指纹定位算法。该算法首先在指纹特征提取前对矿井中的多基站信号源进行数据预处理,提高指纹特征的可靠性和鲁棒性;其... 针对现有矿井指纹定位算法定位精度不高、实时性不强的问题,结合Hadoop云平台技术,提出了一种基于Hadoop云平台的矿井指纹定位算法。该算法首先在指纹特征提取前对矿井中的多基站信号源进行数据预处理,提高指纹特征的可靠性和鲁棒性;其次,利用小波基函数对源指纹信号进行线性变换,并将多个基站信号分解成不同尺度的频带,得到具有代表性的指纹特征向量;再次,将每个待定位的矿工或移动设备信号分解为若干个子信号区域,并逐区域计算待测信号源与特征集之间的相关系数矩阵,根据相关系数矩阵实现指纹信息匹配;最后,利用多普勒效应和信号衰减原理,对每个节点的位置进行估计,获得每个节点的具体位置信息。在国内某矿井进行了定位试验,结果表明:相对于主流的指纹定位算法,所提出的矿井指纹定位算法能够快速、准确地定位矿井中的人或移动设备,具有较高的定位精度和实时性。该算法可以应用于实际的矿井安全监测和管理中,为矿井安全和高效生产提供支持。 展开更多
关键词 矿井指纹定位 HADOOP 云平台 MAPREDUCE 指纹匹配
在线阅读 下载PDF
基于HADOOP的大数据描述统计分析 被引量:2
20
作者 宋廷山 郭思亮 韩伟 《统计与信息论坛》 CSSCI 北大核心 2015年第11期32-38,共7页
从统计学视角研究了大数据分析问题,以当前较为流行的Hadoop云计算平台为基础,分析设计了海量数据描述统计分析的整体架构,分析了相关统计分析算法的特点并给出了实现的具体思路。最后通过实际数据进行了实验性验证,取得了较为理想的效... 从统计学视角研究了大数据分析问题,以当前较为流行的Hadoop云计算平台为基础,分析设计了海量数据描述统计分析的整体架构,分析了相关统计分析算法的特点并给出了实现的具体思路。最后通过实际数据进行了实验性验证,取得了较为理想的效果,为海量数据的统计分析提供了一个可供借鉴的新思路。 展开更多
关键词 海量数据 描述统计分析 HADOOP平台
在线阅读 下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部