期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
OnFlyP:基于定向边交换的分布式在线大图划分算法
被引量：
5
1
作者
王志刚
谷峪
+1 位作者
鲍玉斌
于戈
《计算机学报》
EI
CSCD
北大核心
2015年第9期1838-1851,共14页
随着大数据时代的到来,基于云环境的大图迭代计算已经成为新的研究热点,其中提高图划分算法的执行效率和降低划分后子图之间的通信边规模是改善计算性能的关键.已有工作主要分为离线划分和在线划分两大类,无法在执行效率和通信边规模方...
随着大数据时代的到来,基于云环境的大图迭代计算已经成为新的研究热点,其中提高图划分算法的执行效率和降低划分后子图之间的通信边规模是改善计算性能的关键.已有工作主要分为离线划分和在线划分两大类,无法在执行效率和通信边规模方面同时满足迭代处理需求.文中针对真实世界的大图,提出了聚簇系数概念,定量分析了顶点分布的局部性,以此为基础设计了一种基于定向边交换模型的分布式在线图划分算法(OnFlyP),可在迭代计算的数据加载阶段快速完成图划分,同时通过出边的交换有效降低通信边规模,以满足迭代计算需求.OnFlyP采用实时控制和最小对称矩阵控制实现负载均衡,前者具有较高的执行效率,而后者对降低通信边规模有较好的优化效果,可根据实际应用的处理需求灵活选择.最后,作者使用多种真实数据验证了OnFlyP算法的有效性.
展开更多
关键词
在线大图
划分
边交换
实时控制
最小对称矩阵
在线阅读
下载PDF
职称材料
基于采样的在线大图数据收集和更新
2
作者
尹子都
岳昆
+1 位作者
张彬彬
李劲
《软件学报》
EI
CSCD
北大核心
2020年第11期3540-3558,共19页
互联网中,以网页、社交媒体和知识库等为载体呈现的大量非结构化数据可表示为在线大图.在线大图数据的获取包括数据收集和更新,是大数据分析与知识工程的重要基础,但面临着数据量大、分布广、异构和变化快速等挑战.基于采样技术,提出并...
互联网中,以网页、社交媒体和知识库等为载体呈现的大量非结构化数据可表示为在线大图.在线大图数据的获取包括数据收集和更新,是大数据分析与知识工程的重要基础,但面临着数据量大、分布广、异构和变化快速等挑战.基于采样技术,提出并行、自适应的在线大图数据收集和更新方法.首先,将分支限界方法与半蒙特卡罗采样技术相结合,提出能够自适应地收集在线大图数据的HD-QMC算法;然后,为了使收集的数据能反映实际中在线大图的动态变化,进一步基于信息熵及泊松过程,提出高效更新在线大图数据的EPP算法.从理论上分析了该算法的有效性,并将获取的各类在线大图数据统一表示为RDF三元组的形式,为在线大图数据分析及相关研究提供方便易用的数据基础.基于Spark实现了在线大图数据的收集和更新算法,人工生成数据和真实数据上的实验结果展示了该方法的有效性和高效性.
展开更多
关键词
在线大图
数据收集
数据更新
并行爬虫
SPARK
在线阅读
下载PDF
职称材料
题名
OnFlyP:基于定向边交换的分布式在线大图划分算法
被引量：
5
1
作者
王志刚
谷峪
鲍玉斌
于戈
机构
东北大学信息科学与工程学院
出处
《计算机学报》
EI
CSCD
北大核心
2015年第9期1838-1851,共14页
基金
国家"九七三"重点基础研究发展规划项目基金(2012CB316201)
国家自然科学基金(61272179
+4 种基金
61472071
61173028)
中央高校基本科研业务费专项资金重点课题(N120816001)
教育部博士点基金(20120042110028)
教育部-中国移动科研基金项目(MCM20125021)资助~~
文摘
随着大数据时代的到来,基于云环境的大图迭代计算已经成为新的研究热点,其中提高图划分算法的执行效率和降低划分后子图之间的通信边规模是改善计算性能的关键.已有工作主要分为离线划分和在线划分两大类,无法在执行效率和通信边规模方面同时满足迭代处理需求.文中针对真实世界的大图,提出了聚簇系数概念,定量分析了顶点分布的局部性,以此为基础设计了一种基于定向边交换模型的分布式在线图划分算法(OnFlyP),可在迭代计算的数据加载阶段快速完成图划分,同时通过出边的交换有效降低通信边规模,以满足迭代计算需求.OnFlyP采用实时控制和最小对称矩阵控制实现负载均衡,前者具有较高的执行效率,而后者对降低通信边规模有较好的优化效果,可根据实际应用的处理需求灵活选择.最后,作者使用多种真实数据验证了OnFlyP算法的有效性.
关键词
在线大图
划分
边交换
实时控制
最小对称矩阵
Keywords
online large-scale graph partition
edge exchange
real-time control
minimumsymmetric matrix
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
基于采样的在线大图数据收集和更新
2
作者
尹子都
岳昆
张彬彬
李劲
机构
云南大学信息学院
云南大学软件学院
出处
《软件学报》
EI
CSCD
北大核心
2020年第11期3540-3558,共19页
基金
国家自然科学基金(U1802271,62002311)
云南省基础研究计划杰出青年项目(2019FJ011)
+1 种基金
云南省青年拔尖人才培养支持计划(C6193032)
云南大学东陆学者培育计划。
文摘
互联网中,以网页、社交媒体和知识库等为载体呈现的大量非结构化数据可表示为在线大图.在线大图数据的获取包括数据收集和更新,是大数据分析与知识工程的重要基础,但面临着数据量大、分布广、异构和变化快速等挑战.基于采样技术,提出并行、自适应的在线大图数据收集和更新方法.首先,将分支限界方法与半蒙特卡罗采样技术相结合,提出能够自适应地收集在线大图数据的HD-QMC算法;然后,为了使收集的数据能反映实际中在线大图的动态变化,进一步基于信息熵及泊松过程,提出高效更新在线大图数据的EPP算法.从理论上分析了该算法的有效性,并将获取的各类在线大图数据统一表示为RDF三元组的形式,为在线大图数据分析及相关研究提供方便易用的数据基础.基于Spark实现了在线大图数据的收集和更新算法,人工生成数据和真实数据上的实验结果展示了该方法的有效性和高效性.
关键词
在线大图
数据收集
数据更新
并行爬虫
SPARK
Keywords
online big graph
data collection
data updating
parallel crawler
Spark
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
OnFlyP:基于定向边交换的分布式在线大图划分算法
王志刚
谷峪
鲍玉斌
于戈
《计算机学报》
EI
CSCD
北大核心
2015
5
在线阅读
下载PDF
职称材料
2
基于采样的在线大图数据收集和更新
尹子都
岳昆
张彬彬
李劲
《软件学报》
EI
CSCD
北大核心
2020
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
