-
题名面向大规模动态图的异构图计算系统设计
- 1
-
-
作者
张明
郭文康
王海峰
-
机构
临沂大学信息科学与工程学院
山东省网络重点实验室临沂大学研究所
-
出处
《计算机工程》
北大核心
2025年第3期197-207,共11页
-
基金
山东省自然科学基金面上项目(ZR2023MF090)
山东省科技型中小企业创新能力提升工程项目(2023TSGC0449)
+1 种基金
山东省高等学校青创团队引育计划(2021QCYY003)
山东省重点研发资助项目(2019GGX101003)。
-
文摘
图形处理器(GPU)异构集群中处理大规模动态图时GPU计算资源未被充分利用,并且面向GPU的图划分方法存在局限性导致出现性能瓶颈。为提高图计算系统性能,提出一种中央处理器(CPU)/GPU分布式异构图计算系统引擎(DH-Engine),用于提升异构处理器的计算性能。首先提出新的异构图分割算法,该分割算法以流式图划分为核心,通过贪心策略调整顶点位置,进而实现计算节点之间、CPU/GPU之间的动态负载均衡。在初始图划分时基于最多邻居顶点分配图顶点,在迭代时基于最少连接边动态调整顶点位置。其次,设计GPU异构计算模型,通过CPU/GPU功能并行的方式实现协同计算。CPU与GPU并行执行图算法,提高CPU核心的利用率,进而提升图计算效率。实验以图算法PageRank、CC(Connected Components)、SSSP(Single-Source Shortest Path)与k-core为例,将DH-Engine与其他图计算系统展开对比。与未考虑异构计算的图引擎相比,DH-Engine能更好地平衡各节点计算负载以及计算节点内部的异构处理器之间的负载,通过缩短局部时延来提高整体的计算速度。实验结果表明DH-Engine的CPU/GPU协同度趋于1。相较于其他图计算系统,DH-Engine异构计算的加速比达到5倍,可以提供更好的图异构计算方案。
-
关键词
异构计算
负载均衡
动态图
加速比
图划分
-
Keywords
heterogeneous computing
load balance
dynamic graph
speedup ratio
graph partitioning
-
分类号
TP311.11
[自动化与计算机技术—计算机软件与理论]
-
-
题名面向大数据复杂应用的虚拟集群动态部署模型
被引量：7
- 2
-
-
作者
王瑾
曹云鹏
王海峰
-
机构
临沂大学信息科学与工程学院
山东省网络重点实验室临沂大学研究所
-
出处
《计算机应用研究》
CSCD
北大核心
2020年第6期1760-1764,共5页
-
基金
山东省自然科学基金面上项目(ZR2017MF050)
山东省高等学校科学技术计划项目(J17KA049)
山东省重点研发项目(2018GGX101005,2017CXGC0701,2016GGX109001)。
-
文摘
针对计算负载的时变性和复杂性导致虚拟集群的资源利用率不高的问题,为提高虚拟集群资源的全局利用率,采用弹性资源管理策略来吸收多种计算模式混杂时的资源需求突变。在Docker容器技术的支持下提出一个根据作业需求变化的动态部署模型。该模型根据资源的动态需求变化,实时调整虚拟集群的计算形态,具体包括计算节点的类型及规模。该模型不仅实现用户作业执行环境的动态定制,而且达到错峰计算的目的。仿真实验表明,该模型使得虚拟节点CPU利用率提升5. 3%,并且优化了计算作业的执行效率。该动态部署模型适合应用到数据中心或大规模集群中,能够有效提高计算资源的利用率。
-
关键词
虚拟集群
动态部署
大数据复杂应用
Docker容器
-
Keywords
virtual cluster
dynamic deployment
large-scale complex applications
Docker container
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名面向大数据复杂应用的GPU协同计算模型
被引量：3
- 3
-
-
作者
张龙翔
曹云鹏
王海峰
-
机构
临沂大学信息科学与工程学院
山东省网络重点实验室临沂大学研究所
-
出处
《计算机应用研究》
CSCD
北大核心
2020年第7期2049-2053,共5页
-
基金
山东省自然科学基金面上项目(ZR2017MF050)
山东省高等学校科学技术计划项目(J17KA049)
山东省重点研发项目(2018GGX101005,2017CXGC0701,2016GGX109001)。
-
文摘
大数据计算中存在流计算、内存计算、批计算和图计算等不同模式,各种计算模式有不同的访存、通信和资源利用等特征。GPU异构集群在大数据分析处理中得到广泛应用,然而缺少研究GPU异构集群在大数据分析中的计算模型。多核CPU与GPU协同计算时不仅增加了计算资源的密度,而且提高节点间和节点内的通信复杂度。为了从理论上研究GPU与多核CPU协同计算问题,面向多种计算模式建立一个多阶段的协同计算模型(p-DCOT)。p-DCOT以BSP大同步并行模型为核心,将协同计算过程分成数据层、计算层和通信层三个层次,并且延用DOT模型的矩阵来形式化描述计算和通信行为。通过扩展p-DOT模型描述节点内和节点间的协同计算行为,细化了负载均衡的参数并证明时间成本函数,最后用典型计算作业验证模型及参数分析的有效性。该协同计算模型可成为揭示大数据分析处理中协同计算行为的工具。
-
关键词
协同计算模型
计算模式
大数据处理
GPU异构集群
-
Keywords
collaborative computing model
computing mode
large-scale data processing applications
GPU heterogeneous cluster
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
