GPPR:跨域分布式个性化PageRank算法 被引量：1

1

作者 陈子俊 马德龙 +1 位作者 王一舒 袁野 《软件学报》 EI CSCD 北大核心 2024年第3期1090-1106,共17页

个性化PageRank作为大图分析中的基本算法,在搜索引擎、社交推荐、社区检测等领域具有广泛的应用,一直是研究者们关注的热点问题.现有的分布式个性化PageRank算法均假设所有数据位于同一地理位置,且数据所在的计算节点之间具有相同的网... 个性化PageRank作为大图分析中的基本算法,在搜索引擎、社交推荐、社区检测等领域具有广泛的应用,一直是研究者们关注的热点问题.现有的分布式个性化PageRank算法均假设所有数据位于同一地理位置,且数据所在的计算节点之间具有相同的网络环境.然而在现实世界中,这些数据可能分布在跨洲的多个数据中心中,这些跨域分布(cross-geo-distributed)的数据中心之间通过广域网连接,存在网络带宽异构、硬件差异巨大、通信费用高昂等特点.分布式个性化PageRank算法需要多轮迭代,并在全局图上进行随机游走.因此,现有的分布式个性化PageRank算法不适用于跨域环境.针对此问题,提出了GPPR(cross-geo-distributed personalized PageRank)算法.该算法首先对跨域环境中的大图数据进行预处理,采用启发式算法映射图数据,以降低网络带宽异构对算法迭代速度的影响;其次,GPPR改进了随机游走方式,提出了基于概率的Push算法,通过减少工作节点之间传输数据的带宽负载,进一步减少算法所需的迭代次数.基于Spark框架实现了GPPR算法,并在阿里云中构建真实的跨域环境,在8个开源大图数据上,与现有的多个代表性分布式个性化PageRank算法进行了对比实验.结果显示,GPPR的通信数据量在跨域环境中比其他算法平均减少30%.在算法运行效率方面,GPPR比其他算法平均提升了2.5倍. 展开更多

关键词 跨域分布式 个性化pagerank 近似计算

在线阅读 下载PDF 职称材料

PageRank的改进算法——调整阻尼因子 被引量：7

2

作者 邵晶晶 李波 刘汉平 《应用数学》 CSCD 北大核心 2008年第S1期57-61,共5页

Google将PageRank定义成某个非周期不可约Markov转移概率矩阵的平稳分布,于是对PageRank算法的改进所得到的矩阵一定要是非周期不可约Markov转移概率矩阵,结合RageRank算法和林共进修正算法思想,以及修正算法存在的问题,本文给出了改进... Google将PageRank定义成某个非周期不可约Markov转移概率矩阵的平稳分布,于是对PageRank算法的改进所得到的矩阵一定要是非周期不可约Markov转移概率矩阵,结合RageRank算法和林共进修正算法思想,以及修正算法存在的问题,本文给出了改进算法,并通过简单试验对改进算法进行调整,调整后的改进算既满足Google的初衷又解决其算法的问题,也没有增加算法的复杂度. 展开更多

关键词 pagerank算法 Markov转移概率矩阵 平稳分布 改进算法

在线阅读 下载PDF 职称材料

基于改进PageRank的BA演化模型 被引量：2

3

作者 方芳 李仁发 何建军 《计算机工程与设计》 CSCD 北大核心 2010年第9期1901-1904,共4页

针对原始BA模型择优连接概率决定因素的缺陷,即只从节点的度来衡量节点的重要性,提出了使用改进的节点的PageRank值来替代节点的度来衡量节点重要性的方法,建立了采用改进的节点PageRank值作为择优连接概率决定因素的扩展的BA演化模型... 针对原始BA模型择优连接概率决定因素的缺陷,即只从节点的度来衡量节点的重要性,提出了使用改进的节点的PageRank值来替代节点的度来衡量节点重要性的方法,建立了采用改进的节点PageRank值作为择优连接概率决定因素的扩展的BA演化模型。该演化模型的度分布呈现幂律分布,与原始的BA模型进行比较得出更优的统计特性,仿真实验结果表明了此模型的正确性与可行性。 展开更多

关键词 pagerank 无标尺度模型 BA模型 择优连接 度分布

在线阅读 下载PDF 职称材料

dPageRank——一种改进的分布式PageRank算法 被引量：7

4

作者 陈再良 凌力 周强 《计算机应用》 CSCD 北大核心 2006年第1期21-24,36,共5页

回顾了传统的PageRank计算方式,分析了等级泄漏和悬挂页面问题的解决方法。介绍了分布式PageRank的计算原理和评价原则,在分析两种现有分布式PageRank算法的基础上,提出了一种改进的分布式PageRank算法,通过实验对该算法的性能进行分析... 回顾了传统的PageRank计算方式,分析了等级泄漏和悬挂页面问题的解决方法。介绍了分布式PageRank的计算原理和评价原则,在分析两种现有分布式PageRank算法的基础上,提出了一种改进的分布式PageRank算法,通过实验对该算法的性能进行分析评价。 展开更多

关键词 搜索引擎 pagerank 分布式

在线阅读 下载PDF 职称材料

配水管网管段改造排序的PageRank算法 被引量：2

5

作者 李飞宇 石振锋 +2 位作者 吴晨光 于美婷 袁一星 《哈尔滨工业大学学报》 EI CAS CSCD 北大核心 2015年第8期25-29,共5页

针对城市配水管网管段改造比选排序问题,提出了基于PageRank的改进的MPR-Pipe算法,实现了对管网节点和管段多种水力属性的PR值求解.利用经济流量和管段单位水力坡降PR值,定义了管段改造的重要性度量,并以此作为改造比选排序的依据.理论... 针对城市配水管网管段改造比选排序问题,提出了基于PageRank的改进的MPR-Pipe算法,实现了对管网节点和管段多种水力属性的PR值求解.利用经济流量和管段单位水力坡降PR值,定义了管段改造的重要性度量,并以此作为改造比选排序的依据.理论计算表明该算法求解效率较高,工程应用案例表明该算法提出的管段改造比选排序方案有效、可行. 展开更多

关键词 配水管网 管段改造 pagerank 单位水力坡降 管段重要性

在线阅读 下载PDF 职称材料

IncPR:一种基于增量计算的并行PageRank算法 被引量：1

6

作者 姜双双 廖群 +1 位作者 杨愚鲁 李涛 《计算机研究与发展》 EI CSCD 北大核心 2016年第8期1806-1818,共13页

广泛的互联网的商业应用使PageRank算法有重要地位.网络规模不断地增大,同时网络变化带来的时效性要求,也使PageRank计算对计算资源的要求不断地提高.为降低该问题对计算资源的消耗水平,降低计算成本,一种基于增量计算思想的PageRank算... 广泛的互联网的商业应用使PageRank算法有重要地位.网络规模不断地增大,同时网络变化带来的时效性要求,也使PageRank计算对计算资源的要求不断地提高.为降低该问题对计算资源的消耗水平,降低计算成本,一种基于增量计算思想的PageRank算法:IncPR被提出.IncPR通过重用已有的结果,增量地获得数据变化后的结果.该算法在并行计算环境中,能够有效地降低计算量,缩短计算时间.理论分析表明,该算法计算结果的误差范围与蒙特卡罗PageRank算法相当,其时间复杂度优于其他已有的相关算法,且不引入额外的存储开销.在分布式集群Hama上进行的实验验证了理论分析的结果,IncPR在得到与蒙特卡罗PageRank算法同等(甚至更高)结果精度的情况下,显著地降低了计算量. 展开更多

关键词 pagerank WEB数据挖掘 增量计算 蒙特卡罗算法 并行与分布式处理

在线阅读 下载PDF 职称材料

改进PageRank算法挖掘社交网络关键用户 被引量：3

7

作者 石立新 《现代电子技术》 2022年第12期95-99,共5页

为了准确而快速地挖掘社交网络中的隐藏关键用户,文中在分析经典PageRank算法平均分配权值缺点的基础上,为社交网络中的每个用户节点设置各自的权威度,并结合用户浏览网页的现实情况,模拟用户可以根据主观意向选择节点对应的链接操作,... 为了准确而快速地挖掘社交网络中的隐藏关键用户,文中在分析经典PageRank算法平均分配权值缺点的基础上,为社交网络中的每个用户节点设置各自的权威度,并结合用户浏览网页的现实情况,模拟用户可以根据主观意向选择节点对应的链接操作,提出一种Au-2S-PageRank(Authority-2Step-PageRank)算法。该算法在程序设计上融合传统AuPageRank和2S-PageRank算法的优点,可解决权值分配和用户主观意向难以确定这两方面的问题。另外,使用推特数据集对Au-2S-PageRank算法、经典PageRank算法、MBUI-SFIM算法进行测试仿真。实验结果表明,相比另外两种数据挖掘算法,Au-2S-PageRank算法可以更加高效且准确地挖掘有向社交网络中的关键用户。 展开更多

关键词 pagerank算法 社交网络 关键用户挖掘 权值分配 主观意向 仿真测试

在线阅读 下载PDF 职称材料

云边协同下的电网脆弱线路辨识方法设计 被引量：1

8

作者 罗伟峰 黄建华 +1 位作者 赖丹辉 任彬华 《沈阳工业大学学报》 CAS 北大核心 2024年第2期132-137,共6页

针对以单纯云计算为基础的电网脆弱线路辨识中,存在主节点计算压力大、耗时过高的问题,引入云边协同方法,设计了一种以云边协同为基础的电网脆弱线路辨识方法。以云边协同逻辑架构为基础,将云计算与边缘计算相融合,构建电网脆弱线路辨... 针对以单纯云计算为基础的电网脆弱线路辨识中,存在主节点计算压力大、耗时过高的问题,引入云边协同方法,设计了一种以云边协同为基础的电网脆弱线路辨识方法。以云边协同逻辑架构为基础,将云计算与边缘计算相融合,构建电网脆弱线路辨识模型。利用PageRank算法建立DNS缓存,整合云计算下的边缘设备数据源,以基尔霍夫定律为基础,计算不同线路的潮流值,根据潮流结果完成电网脆弱线路辨识。结果表明,所提方法对电网中的脆弱线路辨识性能更强、耗时更短。 展开更多

关键词 云边协同 最优潮流 云计算 边缘计算 功率转移分布因子 pagerank算法 脆弱线路

在线阅读 下载PDF 职称材料

基于机器学习特性的数据中心能耗优化方法 被引量：19

9

作者 王肇国 易涵 张为华 《软件学报》 EI CSCD 北大核心 2014年第7期1432-1447,共16页

随着互联网的发展,各种类型的数据呈爆炸式增长.通过机器学习的方法对大量数据进行实时或离线的分析,获取规律性信息,已成为各行业提升决策准确性的重要途径.因此,这些机器学习算法成为各个数据中心运行的主要应用.然而,随着数据规模的... 随着互联网的发展,各种类型的数据呈爆炸式增长.通过机器学习的方法对大量数据进行实时或离线的分析,获取规律性信息,已成为各行业提升决策准确性的重要途径.因此,这些机器学习算法成为各个数据中心运行的主要应用.然而,随着数据规模的增大和数据中心面临的能耗问题的突出,如何实现这些算法的低功耗处理,已成为实现绿色数据中心亟待解决的关键问题之一.为了实现对这些机器算法的绿色计算,首先对运行在数据中心中的关键算法进行了深入的分析,并观察到在这些算法中存在大量的冗余计算.在此基础上,设计和实现了一种面向数据中心典型应用的低功耗调度策略.该算法通过对不同计算部分的输入数据进行匹配来判断计算过程中的冗余部分,并对算法进行调度.实验数据显示,对于数据中心的两种典型应用k-means和PageRank,该算法可以实现23%和17%的能耗节约. 展开更多

关键词 节能 分布式计算 机器学习 MAPREDUCE pagerank

在线阅读 下载PDF 职称材料

流程工业系统信息质量关键控制点的确定方法 被引量：2

10

作者 高智勇 郭城 高建民 《计算机集成制造系统》 EI CSCD 北大核心 2016年第5期1323-1328,共6页

为了从海量的集散控制系统信息中挖掘出系统中的关键信息节点,以对流程工业生产中基于系统固有耦合约束关系的信息质量进行评价和控制,避免发生严重的生产安全事故,基于流程工业分布式复杂制造系统的特点,提出一种分布式PageRank算法,... 为了从海量的集散控制系统信息中挖掘出系统中的关键信息节点,以对流程工业生产中基于系统固有耦合约束关系的信息质量进行评价和控制,避免发生严重的生产安全事故,基于流程工业分布式复杂制造系统的特点,提出一种分布式PageRank算法,用以确定流程工业系统信息质量关键控制点,在保证精度的同时降低了算法的复杂度,通过实际企业案例验证了方法的有效性和可行性。 展开更多

关键词 流程工业系统 信息质量 耦合约束关系 分布式pagerank算法

在线阅读 下载PDF 职称材料

铁路货物运输网络关键节点识别算法研究 被引量：5

11

作者 刘杰 《重庆交通大学学报（自然科学版）》 CAS CSCD 北大核心 2021年第8期71-77,共7页

为了提高铁路货物运输网络安全性,科学合理分析铁路货运车站重要性,将货运车站看作节点,货运站间货物发送业务抽象为边和转移行为,构建成一个货物运输网络。在此基础上首先运用网页排序算法计算得到每个车站重要度时间序列样本,然后将... 为了提高铁路货物运输网络安全性,科学合理分析铁路货运车站重要性,将货运车站看作节点,货运站间货物发送业务抽象为边和转移行为,构建成一个货物运输网络。在此基础上首先运用网页排序算法计算得到每个车站重要度时间序列样本,然后将每个车站重要度抽象为随机变量,接着用高斯混合分布拟合重要度样本得到各车站重要度分布函数,最后以分布函数均值作为重要度衡量数值。以中国铁路成都局集团有限公司为案例进行计算,结果表明:一、二、三、四等车站平均重要度分别为4.59、2.99、4.24和2.76,说明一等站和三等站是网络中最重要的车站集群,其中三等站小寨坝是网络中最核心节点,其重要度值为118.28,与实际数据统计分析结果一致,证明了该方法的有效性。 展开更多

关键词 交通运输工程 铁路货运车站 货物运输网络 节点重要度 网页排序 高斯混合分布

在线阅读 下载PDF 职称材料

基于分布式计算的微博敏感信息挖掘系统 被引量：2

12

作者 李声龙 史乔茜 +1 位作者 唐瞻立 梁刚 《信息网络安全》 2013年第9期81-84,共4页

在中国网络舆情的传播当中,微博是最有影响力的媒介之一,对微博舆情进行有效监控刻不容缓。文章设计的系统以微博舆情为研究目标,利用Mongo DB搭建了分布式计算平台,建立了敏感事件话题语料库,引入PageRank算法处理微博社交关系得到微... 在中国网络舆情的传播当中,微博是最有影响力的媒介之一,对微博舆情进行有效监控刻不容缓。文章设计的系统以微博舆情为研究目标,利用Mongo DB搭建了分布式计算平台,建立了敏感事件话题语料库,引入PageRank算法处理微博社交关系得到微博用户的影响力,并将高影响力微博用户发布的微博与语料库中的关键词精确匹配,进而得到微博敏感人士,最终以响应式Web界面的形式将结果呈现给用户以便其及时查看、处理。系统首次在此类系统中使用基于人(即以微博用户)为监控对象的概念。与现有部分系统相比,该系统具有高时效性、高准确率的优势。 展开更多

关键词 语料库 pagerank 影响力 MONGODB 分布式计算

在线阅读 下载PDF 职称材料

分布式网页排序算法及其传输模式分析 被引量：1

13

作者 余锦 史树明 《计算机工程与应用》 CSCD 北大核心 2004年第29期182-187,共6页

网页规模的飞速发展要求分布式网页排序技术的出现。在分析了分布式环境下网页划分的策略后;基于集中式PageRank,给出了适于开放系统的GroupPageRank算法;接着提出了两个分布式网页排序算法并给出了一些相关理论结果。同时还对传输模式... 网页规模的飞速发展要求分布式网页排序技术的出现。在分析了分布式环境下网页划分的策略后;基于集中式PageRank,给出了适于开放系统的GroupPageRank算法;接着提出了两个分布式网页排序算法并给出了一些相关理论结果。同时还对传输模式进行了探讨,提出了具有良好扩展性的间接传输模式。最后在真实数据集上进行了实验,验证了实验的结果。 展开更多

关键词 分布式 网页排序 pagerank 间接传输

在线阅读 下载PDF 职称材料

基于Hadoop视频转码的任务调度算法 被引量：2

14

作者 毕莎莎 陈清华 高煜红 《无线电通信技术》 2014年第2期63-66,85,共5页

现有的分布式转码系统大多没有考虑到根据计算节点的处理能力分配转码任务量,对转码过程造成影响,导致转码效率降低。针对这一问题,在对现有Max-Min算法的研究基础上,提出一种新的任务调度算法。利用佩奇排名算法评估机器转码性能,输入... 现有的分布式转码系统大多没有考虑到根据计算节点的处理能力分配转码任务量,对转码过程造成影响,导致转码效率降低。针对这一问题,在对现有Max-Min算法的研究基础上,提出一种新的任务调度算法。利用佩奇排名算法评估机器转码性能,输入视频被分成大小不同的段,依据其复杂度和机器的转码能力进行映射。处理能力强的节点将分配到更多的视频块,最终所有计算节点的完成时间得到均衡化。实验结果表明,该算法能够显著提升视频转码效率,在很大程度上改善了云转码系统。 展开更多

关键词 分布式转码 任务调度 佩奇排名 均衡化

在线阅读 下载PDF 职称材料

基于分布式学习自动机和用户反馈的网页排序算法研究 被引量：3

15

作者 王冲 姜金川 《计算机应用与软件》 北大核心 2019年第3期271-276,共6页

为了改善传统PageRank算法存在的不足,例如平分链接权重、主题漂移和忽略用户兴趣,提出一种基于分布式学习自动机和用户反馈的网页排序算法。利用页面内容的相似性、网页之间的超链接和用户遍历的路径,根据分布式学习自动机来确定网页... 为了改善传统PageRank算法存在的不足,例如平分链接权重、主题漂移和忽略用户兴趣,提出一种基于分布式学习自动机和用户反馈的网页排序算法。利用页面内容的相似性、网页之间的超链接和用户遍历的路径,根据分布式学习自动机来确定网页间的超链接权重。考虑到用户反馈包含大量的价值信息,选择用户的转载、回复以及有效点击特征作为用户的行为特征,获得用户反馈因子。根据网页间的超链接权重和用户反馈因子计算每个网页的排名。仿真实验表明,与传统的PageRank算法和WPR算法相比,该算法在一定程度上提高了信息检索的精准度和用户满意度。 展开更多

关键词 分布式学习自动机 网页排序 用户反馈 超链接 内容相似性

在线阅读 下载PDF 职称材料

基于SRank的社交网络影响力分析

16

作者 任留名 李廉 唐敏龙 《计算机工程与应用》 CSCD 北大核心 2016年第16期95-99,共5页

针对社交网络中用户影响力的评价问题,提出了一种基于SRank的评价算法。基于从社交网络中收集的大规模数据集,结合最近社会学理论研究成果分析PageRank及其改进算法应用于此场景中的不足。在此基础上总结社交网络中信息传播的规律,将用... 针对社交网络中用户影响力的评价问题,提出了一种基于SRank的评价算法。基于从社交网络中收集的大规模数据集,结合最近社会学理论研究成果分析PageRank及其改进算法应用于此场景中的不足。在此基础上总结社交网络中信息传播的规律,将用户与社交网络的关系强度定义为用户的人缘值,用来表示用户作为粉丝的信息再传播能力。然后提出了一个通过预测用户信息传播能力大小来分析和度量用户影响力的SRank用户影响力模型。在同样的数据集下相对于PageRank及其改进算法,SRank用户影响力模型获得了更好的影响力预测结果。基于大规模数据的实验结果表明,提出的方法是较为有效的。 展开更多

关键词 用户影响力 pagerank 社会计算 幂律分布 150定律

在线阅读 下载PDF 职称材料