期刊文献+
共找到117篇文章
< 1 2 6 >
每页显示 20 50 100
基于ORC元数据的Hive Join查询Reducer负载均衡方法 被引量:3
1
作者 王华进 黎建辉 +1 位作者 沈志宏 周园春 《计算机科学》 CSCD 北大核心 2018年第3期158-164,共7页
负载不均衡问题位列影响大规模MapReduce集群性能因素的首位,而Hive join查询非常容易触发该问题。通用解决方案是基于中间键值对的key频率分布设计能够实现负载均衡的key划分算法。现有工作估算key频率分布时依赖于对map的输出进行监... 负载不均衡问题位列影响大规模MapReduce集群性能因素的首位,而Hive join查询非常容易触发该问题。通用解决方案是基于中间键值对的key频率分布设计能够实现负载均衡的key划分算法。现有工作估算key频率分布时依赖于对map的输出进行监控采样,使得通信开销较大并显著延后了shuffle的启动。针对Hive join查询,提出了基于ORC元数据的key频率分布估计方法和相应的负载均衡key划分方法。该方法具有计算量小、通信开销小、不影响现有shuffle机制的优点。通过基准测试证明了该方法在key频率分布估算效率上的巨大提升及相应的key划分方法对Hive join查询性能的提升。 展开更多
关键词 负载均衡 MAPREDUCE Hive JOIN reducer ORC
在线阅读 下载PDF
Method for optimizing manipulator's geometrical parameters and selecting reducers 被引量:4
2
作者 杜志江 肖永强 董为 《Journal of Central South University》 SCIE EI CAS 2013年第5期1235-1244,共10页
A geometrical parameters optimization and reducers selection method was proposed for robotic manipulators design. The Lagrangian approach was employed in deriving the dynamic model of a two-DOF manipulator. The flexib... A geometrical parameters optimization and reducers selection method was proposed for robotic manipulators design. The Lagrangian approach was employed in deriving the dynamic model of a two-DOF manipulator. The flexibility of links and joints was taken into account in the mechanical structure dimensions optimization and reducers selection, in which Timoshenko model was used to discretize the hollow links. Two criteria, i.e. maximization of fundamental frequency and minimization of self-mass/load ratio, were utilized to optimize the manipulators. The NSGA-II (fast elitist nondominated sorting genetic algorithms) was employed to solve the multi-objective optimization problem. How the joints flexibility affects the manipulators design was analyzed and shown in the numerical analysis example. The results indicate that simultaneous consideration of the joints and the links flexibility is very necessary for manipulators optimal design. Finally, several optimal combinations were provided. The effectiveness of the optimization method was proved by comparing with ADAMS simulation results. The self-mass/load ratio error of the two methods is within 10%. The maximum error of the natural frequency by the two methods is 23.74%. The method proposed in this work provides a fast and effective pathway for manipulator design and reducers selection. 展开更多
关键词 robotic manipulator optimal design reducer selection flexible links flexible joints
在线阅读 下载PDF
Belief reliability modeling and analysis for planetary reducer considering multi-source uncertainties and wear 被引量:1
3
作者 LI Yun JIANG Kaige +4 位作者 ZENG Ting CHEN Wenbin LI Xiaoyang LI Deyong ZHANG Zhiqiang 《Journal of Systems Engineering and Electronics》 SCIE EI CSCD 2021年第5期1246-1262,共17页
The planetary reducer is a common type of transmission mechanism,which can provide high transmission accuracy and has been widely used,and it is usually required with high reliability of transmission characteristics i... The planetary reducer is a common type of transmission mechanism,which can provide high transmission accuracy and has been widely used,and it is usually required with high reliability of transmission characteristics in practice.During the manufacturing and usage stages of planetary reducers,uncertainties are ubiquitous and wear is inevitable,which affect the transmission characteristics and the reliability of planetary reducers.In this paper,belief reliability modeling and analysis considering multi-uncertainties and wear are proposed for planetary reducers.Firstly,based on the functional principle and the influence of wear,the performance margin degradation model is established using the hysteresis error as the key performance parameter,where the degradation is mainly caused by the accumulated wear.After that,multi-source uncertainties are analyzed and quantified separately,including manufacturing errors,uncertainties in operational and environmental conditions,and uncertainties in performance thresholds.Finally,the belief reliability model is established based on the performance margin degradation model.A case study of a planetary reducer is applied and the reliability sensitivity analysis is implemented to show the practicability of the proposed method.The results show that the proposed method can provide some suggestions to the design and manufacturing phases of the planetary reducer. 展开更多
关键词 belief reliability planetary reducer performance margin WEAR multi-source uncertainty
在线阅读 下载PDF
Controlling the conductivity and microporosity of biocarbon to produce supercapacitors with battery-level energies at an ultrahigh power
4
作者 CHENG Bei XIE Xing-yan +5 位作者 WAN Liu CHEN Jian ZHANG Yan DU Cheng GUO Xue-feng XIE Ming-jiang 《新型炭材料(中英文)》 北大核心 2025年第2期409-420,共12页
In order to meet the demands of new-generation electric vehicles that require high power output(over 15 kW/kg),it is crucial to increase the energy density of car-bon-based supercapacitors to a level comparable to tha... In order to meet the demands of new-generation electric vehicles that require high power output(over 15 kW/kg),it is crucial to increase the energy density of car-bon-based supercapacitors to a level comparable to that of batteries,while maintaining a high power density.We re-port a porous carbon material produced by immersing pop-lar wood(PW)sawdust in a solution of KOH and graphene oxide(GO),followed by carbonization.The resulting mater-ial has exceptional properties as an electrode for high-en-ergy supercapacitors.Compared to the material prepared by the direct carbonization of PW,its electrical conductivity was in-creased from 0.36 to 26.3 S/cm.Because of this and a high microporosity of over 80%,which provides fast electron channels and a large ion storage surface,when used as the electrodes for a symmetric supercapacitor,it gave a high energy density of 27.9 Wh/kg@0.95 kW/kg in an aqueous electrolyte of 1.0 mol/L Na_(2)SO_(4).The device also had battery-level energy storage with maximum energy densities of 73.9 Wh/kg@2.0 kW/kg and 67.6 Wh/kg@40 kW/kg,an ultrahigh power density,in an organic electrolyte of 1.0 mol/L TEABF4/AN.These values are comparable to those of 30−45 Wh/kg for Pb-acid batteries and 30−55 Wh/kg for aqueous lithium batteries.This work indicates a way to prepare carbon materials that can be used in supercapacit-ors with ultrahigh energy and power densities. 展开更多
关键词 Reduced GO modification Loose wood Symmetric supercapacitor Battery-level energy density
在线阅读 下载PDF
A guidance and control design with reduced information for a dual-spin stabilized projectile 被引量:2
5
作者 Yu Wang Jiyan Yu +1 位作者 Xiaoming Wang Jia Fangxiu 《Defence Technology(防务技术)》 SCIE EI CAS CSCD 2024年第3期494-505,共12页
In this paper,an integrated guidance and control method based on an adaptive path-following controller is proposed to control a spin-stabilized projectile with only translational motion information under the constrain... In this paper,an integrated guidance and control method based on an adaptive path-following controller is proposed to control a spin-stabilized projectile with only translational motion information under the constraint of an actuator,uncertainties in aerodynamic parameters and measurements,and control system complexity.Owing to the fairly high rotation speed,the dynamic model of this missile is strongly nonlinear,uncertain and coupled in pitch,yaw and roll channels.A theoretical equivalent resultant force and uncertainty compensation method are comprehensively used to realize decoupling of pitch and yaw.In response to the strong nonlinear and time-varying characteristics of the dynamic system,the quasi-linear model whose parameters are obtained by interpolation of points selected as the segmentation points in the trajectory envelope,is used for calculation in each step.To cope with the system uncertainty caused by model approximation,parameter uncertainty and ballistic interference,an extended state estimator is used to compensate the output feedback according to the test ballistic angle.In order to improve the tracking efficiency and ensure the tracking error convergence with only translational motion information,the virtual guide point,whose derivative is deduced according to the Lyapunov principle,is calculated in real time according to the projection relationship between the real-time position and the reference trajectory,and a virtual line-of-sight angle and the backstepping method are used for the design of the guidance and control system.In order to avoid the influence of control input saturation on the guidance and control performance due to the actuator limitation and improve the robustness of the system,an anti-saturation compensator is designed according to the two-step method.The feasibility and effectiveness of the path-following controller is verified through closed-loop flight simulations with measurement,control,and condition uncertainties.The results indicate that the designed controller can converge to the reference path and evidently decrease the distance between the impact point and target under different uncertainties. 展开更多
关键词 Spin-stabilized projectile Reduced information Path-following control Extended state observer Coupled nonlinear system Input saturation
在线阅读 下载PDF
System error iterative identification for underwater positioning based on spectral clustering
6
作者 LU Yu WANG Jiongqi +3 位作者 HE Zhangming ZHOU Haiyin XING Yao ZHOU Xuanying 《Journal of Systems Engineering and Electronics》 SCIE CSCD 2024年第4期1028-1041,共14页
The observation error model of the underwater acous-tic positioning system is an important factor to influence the positioning accuracy of the underwater target.For the position inconsistency error caused by consideri... The observation error model of the underwater acous-tic positioning system is an important factor to influence the positioning accuracy of the underwater target.For the position inconsistency error caused by considering the underwater tar-get as a mass point,as well as the observation system error,the traditional error model best estimation trajectory(EMBET)with little observed data and too many parameters can lead to the ill-condition of the parameter model.In this paper,a multi-station fusion system error model based on the optimal polynomial con-straint is constructed,and the corresponding observation sys-tem error identification based on improved spectral clustering is designed.Firstly,the reduced parameter unified modeling for the underwater target position parameters and the system error is achieved through the polynomial optimization.Then a multi-sta-tion non-oriented graph network is established,which can address the problem of the inaccurate identification for the sys-tem errors.Moreover,the similarity matrix of the spectral cluster-ing is improved,and the iterative identification for the system errors based on the improved spectral clustering is proposed.Finally,the comprehensive measured data of long baseline lake test and sea test show that the proposed method can accu-rately identify the system errors,and moreover can improve the positioning accuracy for the underwater target positioning. 展开更多
关键词 acoustic positioning reduced parameter system error identification improved spectral clustering accuracy analy-sis
在线阅读 下载PDF
大数据挖掘技术应用于汽轮机组运行性能优化的研究 被引量:69
7
作者 万祥 胡念苏 +2 位作者 韩鹏飞 张海石 黎师祺 《中国电机工程学报》 EI CSCD 北大核心 2016年第2期459-467,共9页
基于关联规则的数据挖掘方法已在火电厂汽轮机组的性能优化中取得了较好的应用,但随着大数据时代的来临,传统的数据挖掘方法由于自身缺陷已不能胜任海量数据的挖掘工作。针对此问题,在云计算环境下,基于引入粗糙集中属性约简的基础,在Ha... 基于关联规则的数据挖掘方法已在火电厂汽轮机组的性能优化中取得了较好的应用,但随着大数据时代的来临,传统的数据挖掘方法由于自身缺陷已不能胜任海量数据的挖掘工作。针对此问题,在云计算环境下,基于引入粗糙集中属性约简的基础,在Hadoop平台的Map Reduce架构上对经典关联规则算法Apriori算法进行改进,实现计算并行化以形成能够应对海量数据挖掘任务的新算法。以某1000MW超超临界机组的运行数据为挖掘对象,利用新算法对典型负荷下的历史数据进行挖掘,挖掘出运行参数与性能指标之间的关系,并得到一些可调控参数的运行优化目标值以指导优化运行。挖掘结果表明,新算法可以应用于汽轮机优化目标值的确定,达到节能减排的目的,其所求出的优化目标值来源于机组实际运行数据,具有代表性,能够反映机组的最佳运行状态。 展开更多
关键词 大数据 MAP REDUCE 关联规则 性能优化 目标值 汽轮机组 运行
在线阅读 下载PDF
基于大数据聚类的电力系统中长期负荷预测 被引量:50
8
作者 徐源 程潜善 +3 位作者 李阳 张浩 余伟 何冰 《电力系统及其自动化学报》 CSCD 北大核心 2017年第8期43-48,共6页
随着电网数据收集能力的提升,积累了海量的负荷及相关数据,为负荷预测开辟了新的思路。提出了一种应用大数据技术的中长期负荷预测新方法。首先通过历史负荷序列的增长趋势、波动性等变化特性的参数化表达,实现负荷的标准化处理,形成大... 随着电网数据收集能力的提升,积累了海量的负荷及相关数据,为负荷预测开辟了新的思路。提出了一种应用大数据技术的中长期负荷预测新方法。首先通过历史负荷序列的增长趋势、波动性等变化特性的参数化表达,实现负荷的标准化处理,形成大数据聚类的样本;然后结合大数据分析平台的数据处理能力设计了基于Map Reduce并行编程模型的改进模糊K-means聚类方法,实现对负荷大数据的聚类划分;最后综合相同聚类负荷,并建立预测模型。计算结果表明,大数据聚类算法能有效地进行大量负荷数据的聚类划分,实现不同增长特性负荷的区分预测,具有较高的预测精度。 展开更多
关键词 大数据 中长期负荷预测 聚类分析 MAP REDUCE 并行编程
在线阅读 下载PDF
基于MapReduce与相关子空间的局部离群数据挖掘算法 被引量:41
9
作者 张继福 李永红 +1 位作者 秦啸 荀亚玲 《软件学报》 EI CSCD 北大核心 2015年第5期1079-1095,共17页
针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密... 针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种Map Reduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性. 展开更多
关键词 局部离群数据 相关子空间 MAP REDUCE 局部稀疏度 概率密度
在线阅读 下载PDF
基于结构相似度的大规模社交网络聚类算法 被引量:16
10
作者 陈季梦 陈佳俊 +3 位作者 刘杰 黄亚楼 王嫄 冯霞 《电子与信息学报》 EI CSCD 北大核心 2015年第2期449-454,共6页
针对社交网络的有向交互性和大规模特性,该文提出一种基于结构相似度的有向网络聚类算法(Dir SCAN),以及相应的分布式并行算法(PDir SCAN)。考虑社交网络中节点间的有向交互性,将行为结构相似的节点聚集起来,并进行节点功能分析。针对... 针对社交网络的有向交互性和大规模特性,该文提出一种基于结构相似度的有向网络聚类算法(Dir SCAN),以及相应的分布式并行算法(PDir SCAN)。考虑社交网络中节点间的有向交互性,将行为结构相似的节点聚集起来,并进行节点功能分析。针对社交网络规模巨大的特点,提出Map Reduce框架下的分布式并行聚类算法,在确保聚类结果一致的前提下,提高处理性能。大量真实数据集上的实验结果表明,Dir SCAN比无向网络聚类算法(SCAN)在F1上可提高2.34%的性能,并行算法PDir SCAN比Dir SCAN运行速度提升1.67倍,能够有效处理大规模的有向网络聚类问题。 展开更多
关键词 社交网络 有向网络聚类 并行算法 MAP REDUCE
在线阅读 下载PDF
云平台下基于粗糙集的并行增量知识更新算法 被引量:11
11
作者 张钧波 李天瑞 +2 位作者 潘毅 罗川 滕飞 《软件学报》 EI CSCD 北大核心 2015年第5期1064-1078,共15页
日益复杂和动态变化的海量数据处理,是当前人们普遍关注的问题,其核心内容之一是研究如何利用已有的信息实现快速的知识更新.粒计算是近年来新兴的一个研究领域,是信息处理的一种新的概念和计算范式,主要用于描述和处理不确定的、模糊... 日益复杂和动态变化的海量数据处理,是当前人们普遍关注的问题,其核心内容之一是研究如何利用已有的信息实现快速的知识更新.粒计算是近年来新兴的一个研究领域,是信息处理的一种新的概念和计算范式,主要用于描述和处理不确定的、模糊的、不完整的和海量的信息,以及提供一种基于粒与粒间关系的问题求解方法.作为粒计算理论中的一个重要组成部分,粗糙集是一种处理不确定性和不精确性问题的有效数学工具.根据云计算中的并行模型Map Reduce,给出了并行计算粗糙集中等价类、决策类和两者之间相关性的算法;然后,设计了用于处理大规模数据的并行粗糙近似集求解算法.为应对动态变化的海量数据,结合Map Reduce模型和增量更新方法,根据不同的增量策略,设计了两种并行增量更新粗糙近似集的算法.实验结果表明,该算法可以有效地快速更新知识;而且数据量越大,效果越明显. 展开更多
关键词 云计算 MAP REDUCE 粗糙集 增量学习
在线阅读 下载PDF
大数据上基于Hadoop的不一致数据检测与修复算法 被引量:13
12
作者 张安珍 门雪莹 +2 位作者 王宏志 李建中 高宏 《计算机科学与探索》 CSCD 北大核心 2015年第9期1044-1055,共12页
随着现代社会互联网的普及应用,产生的海量数据普遍存在质量问题。针对数据质量中不一致性问题进行研究,设计并实现了基于Hadoop并行平台的不一致数据检测与修复算法。采用数据依赖理论中的条件函数依赖,根据给定规则检测不一致数据集,... 随着现代社会互联网的普及应用,产生的海量数据普遍存在质量问题。针对数据质量中不一致性问题进行研究,设计并实现了基于Hadoop并行平台的不一致数据检测与修复算法。采用数据依赖理论中的条件函数依赖,根据给定规则检测不一致数据集,对这些不一致数据求解修复方案,使得修复结果满足数据一致性要求,并给出修复结果的确定性概率。最后通过实验证明了该算法较已有的单机算法有更好的修复效果,当约束规则较少的情况下,算法执行时间呈线性增长。 展开更多
关键词 数据一致性 MAP REDUCE 条件函数依赖 数据质量
在线阅读 下载PDF
一种基于FP-Growth的频繁项目集并行挖掘算法 被引量:44
13
作者 章志刚 吉根林 《计算机工程与应用》 CSCD 2014年第2期103-106,共4页
FP-Growth算法是基于FP树挖掘频繁项目集的经典算法,为提高FP-Growth算法挖掘大规模数据频繁项目集的效率,提出了一种基于FP-Growth的频繁项目集并行挖掘算法FPPM。该算法基于Map/Reduce并行模型,在每个计算节点上首先构造局部频繁模式... FP-Growth算法是基于FP树挖掘频繁项目集的经典算法,为提高FP-Growth算法挖掘大规模数据频繁项目集的效率,提出了一种基于FP-Growth的频繁项目集并行挖掘算法FPPM。该算法基于Map/Reduce并行模型,在每个计算节点上首先构造局部频繁模式树,并对之进行挖掘得到局部频繁项目集,然后合并局部频繁项目集以得到全局频繁项集,由于此时得到的结果并不完备,所以对合并后未达到最小支持度阈值的项目集,重新计算其支持数。介绍了FPPM算法的设计思想,测试了其性能。实验结果表明FPPM算法具有较好的可扩展性。 展开更多
关键词 频繁项目集 并行挖掘 FP Growth MAP REDUCE
在线阅读 下载PDF
基于Map/Reduce的改进选择算法在云计算的Web数据挖掘中的研究 被引量:13
14
作者 方少卿 周剑 张明新 《计算机应用研究》 CSCD 北大核心 2013年第2期377-379,395,共4页
针对目前在搜索方面的数据量大、搜索延迟的特点,提出了基于云计算的Web挖掘的搜索模型。采用提出的基于Map/Reduce模型的改进型算法,通过仿真实验验证了该算法的可行性,在一定程度上减少了搜索的代价,提高了搜索效率。
关键词 云计算 WEB数据挖掘 MAP REDUCE
在线阅读 下载PDF
海泥中硫酸盐还原菌数量变化对主要腐蚀环境因子的影响 被引量:11
15
作者 朱永艳 郑传波 +1 位作者 李言涛 黄彦良 《海洋科学》 CAS CSCD 北大核心 2006年第11期37-40,共4页
海泥中硫酸盐还原菌(SulfateReducingBacteria,SRB)数量的变化会对其主要腐蚀环境因子产生影响。实验室条件下,在灭菌青岛海泥中加SRB菌种得到含SRB的海泥。在SRB的一个生长周期内,测量了由SRB数量变化引起的硫电位、银电位、pH值、氧... 海泥中硫酸盐还原菌(SulfateReducingBacteria,SRB)数量的变化会对其主要腐蚀环境因子产生影响。实验室条件下,在灭菌青岛海泥中加SRB菌种得到含SRB的海泥。在SRB的一个生长周期内,测量了由SRB数量变化引起的硫电位、银电位、pH值、氧化还原电位及电导率等主要腐蚀环境因子的变化,并找出了该变化的规律,探讨了通过腐蚀环境因子的变化测量SRB数量的可能性。 展开更多
关键词 海泥 硫酸盐还原菌(Sulfate REDUCING Bacteria SRB)数量 腐蚀因子
在线阅读 下载PDF
Hadoop平台中一种Reduce负载均衡贪心算法 被引量:12
16
作者 刘朵 曾锋 +1 位作者 陈志刚 姚亦韬 《计算机应用研究》 CSCD 北大核心 2016年第9期2656-2659,共4页
MapReduce是目前广泛应用的并行计算框架,是Hadoop平台的重要组成部分。主要包括Map和Reduce函数,Map函数输出key-value键值对作为Reduce的输入。由于输入的动态性,不同主机上的Reduce处理的输入量存在不均衡性。如何解决Reduce的负载... MapReduce是目前广泛应用的并行计算框架,是Hadoop平台的重要组成部分。主要包括Map和Reduce函数,Map函数输出key-value键值对作为Reduce的输入。由于输入的动态性,不同主机上的Reduce处理的输入量存在不均衡性。如何解决Reduce的负载均衡是优化MapReduce的一个重要研究方向。对整体数据进行抽样,通过适量的样本分析数据,达到较小的代价获得可靠的key分布,提出贪心算法代替Hadoop平台默认的Hash算法来划分数据,实现Reduce负载均衡。提出的贪心算法主要思想是根据抽样数据,求取所有key频次的和对于Reduce节点数量的平均值,然后依次为每一个Reduce分配一个接近平均值的负载,从而达到整体的负载均衡。模拟实验表明,所提算法与默认的hash分区算法相比,运行时间节约10.6%,达到更好的负载均衡。 展开更多
关键词 MAPREDUCE 贪心算法 Reduce负载均衡 抽样
在线阅读 下载PDF
基于Hadoop的Web日志挖掘 被引量:64
17
作者 程苗 陈华平 《计算机工程》 CAS CSCD 北大核心 2011年第11期37-39,共3页
基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。... 基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率。 展开更多
关键词 云计算 Hadoop架构 Map/Reduce编程模式 WEB日志挖掘 遗传算法 偏爱访问路径
在线阅读 下载PDF
MapReduce框架下支持差分隐私保护的k-means聚类方法 被引量:25
18
作者 李洪成 吴晓平 陈燕 《通信学报》 EI CSCD 北大核心 2016年第2期124-130,共7页
针对传统隐私保护方法无法应对任意背景知识下恶意分析的问题,提出了分布式环境下满足差分隐私的k-means算法。该算法利用Map Reduce计算框架,由主任务控制k-means迭代执行;指派Mapper分任务独立并行计算各数据片中每条记录与聚类中心... 针对传统隐私保护方法无法应对任意背景知识下恶意分析的问题,提出了分布式环境下满足差分隐私的k-means算法。该算法利用Map Reduce计算框架,由主任务控制k-means迭代执行;指派Mapper分任务独立并行计算各数据片中每条记录与聚类中心的距离并标记其属于的聚类;指派Reducer分任务计算同一聚类中的记录数量num和属性向量之和sum,并利用Laplace机制产生的噪声扰动num和sum,进而实现隐私保护。根据差分隐私的组合特性,从理论角度证明整个算法满足ε-差分隐私保护。实验结果证明了该方法在提高隐私性和时效性的情况下,保证了较好的可用性。 展开更多
关键词 数据挖掘 K-均值聚类 MAP REDUCE 差分隐私保护 Laplace机制
在线阅读 下载PDF
基于云计算技术的个性化推荐系统 被引量:24
19
作者 应毅 刘亚军 陈诚 《计算机工程与应用》 CSCD 北大核心 2015年第13期111-117,共7页
传统的协同过滤推荐技术在大数据环境下存在一定的不足。针对该问题,提出了一种基于云计算技术的个性化推荐方法:将大数据集和推荐计算分解到多台计算机上并行处理。在对经典Item CF算法Map Reduce化后,建立了一个基于Hadoop开源框架的... 传统的协同过滤推荐技术在大数据环境下存在一定的不足。针对该问题,提出了一种基于云计算技术的个性化推荐方法:将大数据集和推荐计算分解到多台计算机上并行处理。在对经典Item CF算法Map Reduce化后,建立了一个基于Hadoop开源框架的并行推荐引擎,并通过在已商用的英语训练平台上进行学习推荐工作验证了该系统的有效性。实验结果表明,在集群中使用云计算技术处理海量数据,可以大大提高推荐系统的可扩展性。 展开更多
关键词 推荐系统 基于物品的协同过滤 Map REDUCE ITEM CF-MR算法 学习资源推荐
在线阅读 下载PDF
基于改进CURE算法的不确定性移动用户数据聚类 被引量:8
20
作者 高长元 王海晶 王京 《计算机工程与科学》 CSCD 北大核心 2016年第4期768-774,共7页
随着云计算、大数据以及移动互联网的发展,移动终端用户数据呈现出数据量大、噪声大、动态性及不确定性增强的趋势,影响了移动用户数据聚类准确率与效率。针对上述问题,提出了一种改进的层次聚类算法CURE。该算法将原有算法中抽样处理... 随着云计算、大数据以及移动互联网的发展,移动终端用户数据呈现出数据量大、噪声大、动态性及不确定性增强的趋势,影响了移动用户数据聚类准确率与效率。针对上述问题,提出了一种改进的层次聚类算法CURE。该算法将原有算法中抽样处理数据的方式用Map Reduce函数实现并行化处理,同时结合区间数的概念,将移动用户数据用一个区间表示,计算其区间距离来适应移动用户数据的不确定性特点,从而提高聚类效率与准确率。最后利用MIT Reality项目数据集进行仿真,仿真结果表明了该方法的有效性及可行性,为移动用户数据的进一步利用及用户的个性化推荐提供支持。 展开更多
关键词 CURE 不确定性数据 移动用户数据 Map REDUCE
在线阅读 下载PDF
上一页 1 2 6 下一页 到第
使用帮助 返回顶部