资源共享平台大数据负载均衡性控制方法

1

作者 辛春花 闫凤 何婷 《现代电子技术》 北大核心 2025年第20期160-164,共5页

资源共享平台的大数据具有多样性和不确定性的特点,不同类型的数据需求各异,如果不对这些数据进行分类和处理,就可能导致某些类型的数据处理任务集中在少数资源节点上,而其他节点则相对空闲,从而造成负载不均衡。为此,提出一种资源共享... 资源共享平台的大数据具有多样性和不确定性的特点,不同类型的数据需求各异,如果不对这些数据进行分类和处理,就可能导致某些类型的数据处理任务集中在少数资源节点上,而其他节点则相对空闲,从而造成负载不均衡。为此,提出一种资源共享平台大数据负载均衡性控制方法。将无状态的资源共享平台大数据按照特征进行切片,更清晰地展现出数据之间的差异性。采用目标函数将切片处理后的数据应用于平台大数据差异性的量化处理中,确保各个资源节点能够均衡地处理任务。通过帝国主义竞争算法对大数据进行寻优,将所有初始化的个体都称作国家,并按照国家势力分成帝国主义国家及殖民地两种,通过竞争和合作来找到最优解,确定最优资源共享平台大数据负载均衡性控制方案,从而更好地处理数据的多样性和不确定性,实现资源共享平台大数据负载均衡性控制。实验结果表明,所提方法的吞吐量达到了700 Mb/s,且在到达率为0.40%之前,其业务阻塞率一直处于接近0的状态,说明该方法可以确保资源共享平台大数据的吞吐量并有效降低业务阻塞率,负载均衡性的控制效果较好。 展开更多

关键词 资源共享平台 大数据 负载均衡性 帝国主义竞争算法 切片处理 差异化量化处理

在线阅读 下载PDF 职称材料

面向多核CPU与GPU平台的图处理系统关键技术综述 被引量：3

2

作者 张园 曹华伟 +5 位作者 张婕 申玥 孙一鸣 敦明 安学军 叶笑春 《计算机研究与发展》 EI CSCD 北大核心 2024年第6期1401-1428,共28页

图计算作为分析与挖掘关联关系的一种关键技术,已在智慧医疗、社交网络分析、金融反欺诈、地图道路规划、计算科学等领域广泛应用.当前,通用CPU与GPU架构的并行结构、访存结构、互连结构及同步机制的不断发展,使得多核CPU与GPU成为图处... 图计算作为分析与挖掘关联关系的一种关键技术,已在智慧医疗、社交网络分析、金融反欺诈、地图道路规划、计算科学等领域广泛应用.当前,通用CPU与GPU架构的并行结构、访存结构、互连结构及同步机制的不断发展,使得多核CPU与GPU成为图处理加速的常用平台.但由于图处理具有处理数据规模大、数据依赖复杂、访存计算比高等特性,加之现实应用场景下的图数据分布不规则且图中的顶点与边呈现动态变化,给图处理的性能提升和高可扩展性带来严峻挑战.为应对上述挑战,大量基于多核CPU与GPU平台的图处理系统被提出,并在该领域取得显著成果.为了让读者了解多核CPU与GPU平台上图处理优化相关技术的演化,首先剖析了图数据、图算法、图应用特性,并阐明图处理所面临的挑战.然后分类梳理了当前已有的基于多核CPU与GPU平台的图处理系统,并从加速图处理设计的角度,详细、系统地总结了关键优化技术,包括图数据预处理、访存优化、计算加速和数据通信优化等.最后对已有先进图处理系统的性能、可扩展性等进行分析,并从不同角度对图处理未来发展趋势进行展望,希望对从事图处理系统研究的学者有一定的启发. 展开更多

关键词 多核CPU与GPU平台 图处理系统 图数据表示 负载均衡 不规则访存 动态图处理

在线阅读 下载PDF 职称材料

风云气象卫星数据存档与服务系统 被引量：26

3

作者 钱建梅 孙安来 +4 位作者 徐喆 咸迪 高云 罗敬宁 郑旭东 《应用气象学报》 CSCD 北大核心 2012年第3期369-376,共8页

国家卫星气象中心依托风云卫星工程,对多批次工程建设采取统一设计、滚动开发、分批扩展的方法,建成气象卫星数据存档与服务系统。系统架构于多个高性能计算机集群,应用可配置的动态加载容器和多机作业负载均衡并发处理技术将集群构建... 国家卫星气象中心依托风云卫星工程,对多批次工程建设采取统一设计、滚动开发、分批扩展的方法,建成气象卫星数据存档与服务系统。系统架构于多个高性能计算机集群,应用可配置的动态加载容器和多机作业负载均衡并发处理技术将集群构建为高扩展性、高可用、高效率的业务系统。对Internet的全集数据共享技术、分布式时空一体化数据库存储技术、基于WebGIS的全球卫星影像发布技术、可视化处理与显示技术、三维地球影像发布技术、多源数据融合处理技术等多项关键技术进行研究与应用,为用户提供多种数据共享服务方式,提高了数据下载效率。目前,国家卫星气象中心已存档国内外21颗气象卫星801类共1150 TB数据,为24258个注册用户提供各类数据共享服务,该系统亦可通过配置扩展,适应未来国家卫星气象中心数据存档与服务的需求。 展开更多

关键词 数据共享 时空一体化 WEBGIS 动态加载容器 负载均衡

在线阅读 下载PDF 职称材料

基于多种资源的负载平衡算法的研究 被引量：27

4

作者 蒋江 张民选 廖湘科 《电子学报》 EI CAS CSCD 北大核心 2002年第8期1148-1152,共5页

系统资源的有效利用是集群系统的关键问题 ,负载平衡是实现资源有效利用的重要手段 .本文 ,提出了两种基于资源使用率和向量负载指数的、采用进程迁移机制的负载平衡算法 ,并通过踪迹驱动的方法进行了大量的模拟和分析 .

关键词 集群 异构性 网络互连 负载平衡 资源使用率 进程迁移 向量负载指数

在线阅读 下载PDF 职称材料

多机系统的动态负载平衡 被引量：6

5

作者 刘振英 张毅 +1 位作者 胡铭曾 方滨兴 《计算机科学》 CSCD 北大核心 1999年第1期38-40,共3页

在计算机硬件价格下降、计算机网络拓扑发展的情况下,分布式计算机系统给用户提供了一个丰富的资源集合。人们在研究分布式系统时,就注意到了这样一个问题:在一个由网络所连接起来的多计算机环境中,在某一时刻,一些计算机的负载极重,而... 在计算机硬件价格下降、计算机网络拓扑发展的情况下,分布式计算机系统给用户提供了一个丰富的资源集合。人们在研究分布式系统时,就注意到了这样一个问题:在一个由网络所连接起来的多计算机环境中,在某一时刻,一些计算机的负载极重,而另外一些计算机的负载极为空闲。平衡各计算机之间的负载是任务分配与调度的一个主要目标, 展开更多

关键词 多机系统 动态负载平衡 信息策略 负载平衡

在线阅读 下载PDF 职称材料

分布式数据流处理系统的动态负载平衡技术 被引量：13

6

作者 邓华锋 刘云生 肖迎元 《计算机科学》 CSCD 北大核心 2007年第7期120-123,共4页

设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成,负载在每个服务器集群内部多台同构的服务器之间获得平衡,从而达到整个系统的负载平衡。集群设计的主要目标之一是以资源换性能,服务器集群中服... 设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成,负载在每个服务器集群内部多台同构的服务器之间获得平衡,从而达到整个系统的负载平衡。集群设计的主要目标之一是以资源换性能,服务器集群中服务器的最大数目足够保证系统不再发生过载现象,不再需要会降低性能的卸载技术。而且投入运行的服务器的数目根据实际的系统负载来决定,负载较轻时,一部分服务器可以进入休眠状态来减少能源的消耗。根据系统动态增减服务器的特点,设计了全新的初始化算法、动态负载平衡算法。与以前的分布式数据流处理系统相比,由于单个集群的服务器的数目大大减少,算法复杂性降低、速度加快、优化的空间增大。 展开更多

关键词 分布式数据处理流系统 动态负载平衡 卸载 节能

在线阅读 下载PDF 职称材料

一种基于共享存储的叠前深度偏移并行算法 被引量：5

7

作者 李建江 舒继武 +2 位作者 王鼎兴 郑纬民 王有新 《软件学报》 EI CSCD 北大核心 2002年第12期2231-2237,共7页

为了解决叠前深度偏移计算量巨大这个问题,人们投入了很大精力来开发高效的并行算法.就此,在对一些相关并行算法进行分析之后,根据三维叠前Kirchhoff深度偏移的特点,提出了一种基于共享存储的简化并行算法.其中Slave进程直接存储和读取... 为了解决叠前深度偏移计算量巨大这个问题,人们投入了很大精力来开发高效的并行算法.就此,在对一些相关并行算法进行分析之后,根据三维叠前Kirchhoff深度偏移的特点,提出了一种基于共享存储的简化并行算法.其中Slave进程直接存储和读取射线旅行时,消息传递总量显著减少;同时合理地结合“任务池”技术与粗粒度级并行,前者确保动态负载平衡,后者使得Slave与Master之间的通信开销尽可能小.实际教据的测试结果表明,此并行算法高效且可扩展性较好. 展开更多

关键词 共享存储 并行算法 叠前深度偏移技术 计算机 石油勘探

在线阅读 下载PDF 职称材料

基于动态多处理节点的分布式系统任务调度 被引量：5

8

作者 梁根 秦勇 +1 位作者 郭小雪 梁活民 《计算机工程》 CAS CSCD 北大核心 2009年第9期31-33,36,共4页

针对固定处理节点分布式系统动态调控能力弱的问题,给出一种分布式系统任务调度模型,讨论单处理节点任务调度问题,提出平均处理强度指标,用于更准确地刻画处理节点的承载能力。推导出动态多处理节点的任务分配方法,优化分布式系统中任... 针对固定处理节点分布式系统动态调控能力弱的问题,给出一种分布式系统任务调度模型,讨论单处理节点任务调度问题,提出平均处理强度指标,用于更准确地刻画处理节点的承载能力。推导出动态多处理节点的任务分配方法,优化分布式系统中任务处理的时间响应特性。模拟实验证明,该算法有较好的动态调控能力,能根据需要降低处理器负载、改善任务处理延时并更合理地利用系统资源。 展开更多

关键词 任务调度 动态分配 处理强度 负载均衡

在线阅读 下载PDF 职称材料

异构集群系统中一种基于资源的负载平衡算法的设计与模拟 被引量：4

9

作者 蒋江 张民选 廖湘科 《小型微型计算机系统》 CSCD 北大核心 2003年第4期625-630,共6页

本文提出了一种基于资源使用率和向量负载指数的、采用进程迁移机制的负载平衡算法,并通过踪迹驱动的 方法进行了大量的模拟和分析.

关键词 异构集群系统 负载平衡算法 设计 模拟 网络资源 计算机互联网络 异构性 资源使用率 进程迁移 向量负载指数

在线阅读 下载PDF 职称材料

分布式系统中动态负载均衡实现模型 被引量：13

10

作者 陈志刚 李登 曾志文 《中南工业大学学报》 CSCD 北大核心 2001年第6期635-639,共5页

随着计算机技术的发展 ,分布式系统日益受到人们的重视因而被普遍应用 ,但由于任务提出和执行的随机性 ,各台机器上负载不均衡现象时有发生 ,所以负载均衡是提高分布式系统效率的重要因素 ,但目前的研究都集中在策略的提出上 ,对实现模... 随着计算机技术的发展 ,分布式系统日益受到人们的重视因而被普遍应用 ,但由于任务提出和执行的随机性 ,各台机器上负载不均衡现象时有发生 ,所以负载均衡是提高分布式系统效率的重要因素 ,但目前的研究都集中在策略的提出上 ,对实现模型的研究比较少 .作者在综合许多负载均衡策略的基础上按照性能递增的顺序 ,结合网络拓扑结构构建了链式模型、网状模型和链网模型 ,对其进行了系统的研究 ,对几种模型给出了各自相应的算法 ,并进行了评价 ,指出了这几种模型各自的优缺点及适用范围 .研究结果表明 :链网模型在动态负载均衡实现方面具有良好的有效性、稳定性、可靠性、通用性 ,对用户具有透明性 ,是一种性能优越的动态负载均衡模型 . 展开更多

关键词 分布式系统 动态负载均衡 任务迁移 链式模型 网状模型 链网模型 计算机技术

在线阅读 下载PDF 职称材料

基于AHP的Web集群系统负载均衡算法 被引量：5

11

作者 张建东 邱颖豫 +1 位作者 洪艳伟 李彬 《计算机工程》 CAS CSCD 北大核心 2011年第20期71-74,共4页

利用集群技术构建的服务器组在资源利用率上存在较大差异。为此,提出基于层次分析法(AHP)的集群系统负载均衡算法,建立判断矩阵,得到各项评估指标的单项和综合权重。调度器定时接收真实服务器上的4类参数:网络性能,服务器硬件,服务器软... 利用集群技术构建的服务器组在资源利用率上存在较大差异。为此,提出基于层次分析法(AHP)的集群系统负载均衡算法,建立判断矩阵,得到各项评估指标的单项和综合权重。调度器定时接收真实服务器上的4类参数:网络性能,服务器硬件,服务器软件和网络服务类型。根据调度器收到的每一个连接请求,采用动态反馈算法选择负载最小的服务器响应连接请求。实验结果表明,该算法能减少服务器平均响应时间,有效提高集群系统的响应率。 展开更多

关键词 服务器集群 负载均衡 层次分析法 动态反馈 调度器

在线阅读 下载PDF 职称材料

多目标迁移机制的动态负载平衡算法 被引量：4

12

作者 刘滨 石峰 +1 位作者 高玉金 宋红 《哈尔滨工程大学学报》 EI CAS CSCD 北大核心 2008年第8期842-845,共4页

针对并行计算中的负载失衡现象,提出一种新型动态负载平衡算法,将重载节点和轻载节点间需要交流的进程数目信息包括在负载平衡消息中,并视情况扩展目标节点的搜索范围,使重载节点能在算法的一次执行中外迁进程到多个目标节点,还提出3条... 针对并行计算中的负载失衡现象,提出一种新型动态负载平衡算法,将重载节点和轻载节点间需要交流的进程数目信息包括在负载平衡消息中,并视情况扩展目标节点的搜索范围,使重载节点能在算法的一次执行中外迁进程到多个目标节点,还提出3条规则以减少消息传播的路由耦合现象.通过矩阵运算和求素数这2个典型的并行计算实验,比较了4种动态负载平衡算法的性能.结果表明,提出的算法因多目标迁移机制而具有最少的迭代执行次数,并能在一次执行中发现最多的轻载节点,有效缩减了系统对计算密集型任务的平均响应时间. 展开更多

关键词 动态负载平衡 多目标迁移 并行计算

在线阅读 下载PDF 职称材料

一种基于进程剩余运行时间总和的集群动态负载平衡算法 被引量：4

13

作者 张永坤 金海 唐丹 《计算机工程与科学》 CSCD 2005年第5期63-65,共3页

负载的评价是集群负载平衡策略研究中的首要问题。本文总结和比较了当前使用的三类负载向量并分析了它们的优点与不足,提出了一种新的负载评价指标一进程剩余运行时间总和。测试结果表明,使用新的负载向量提高了系统的性能,缩短了任务... 负载的评价是集群负载平衡策略研究中的首要问题。本文总结和比较了当前使用的三类负载向量并分析了它们的优点与不足,提出了一种新的负载评价指标一进程剩余运行时间总和。测试结果表明,使用新的负载向量提高了系统的性能,缩短了任务的执行时间,取得了更好的效果。 展开更多

关键词 计算机 集群负载平衡算法 负载向量 进程迁移 CPU 内存资源

在线阅读 下载PDF 职称材料

基于分布式并行遗传算法的电力系统无功优化 被引量：3

14

作者 刘科研 李运华 盛万兴 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2008年第1期27-30,共4页

针对传统遗传算法寻优质量差、计算时间长的问题,提出了基于计算机集群的一种新的分布式并行遗传算法解决电力系统无功优化问题.采用遗传模拟退火算法和分布式并行计算MPI(Message Passing Interface)技术,实现多进程的分布式集群计算.... 针对传统遗传算法寻优质量差、计算时间长的问题,提出了基于计算机集群的一种新的分布式并行遗传算法解决电力系统无功优化问题.采用遗传模拟退火算法和分布式并行计算MPI(Message Passing Interface)技术,实现多进程的分布式集群计算.该算法通过个体迁移策略来协调优化各个子种群,使用计算效率来判断计算负载状态,采用动态种群来进行负载平衡.通过运用标准测试算例IEEE14节点和一个实际电力系统的无功优化计算,结果表明这种算法具有很高的稳定性,有较好的并行效率,适合求解大规模电力系统的无功优化问题. 展开更多

关键词 集群计算 并行遗传算法 动态种群 负载均衡 个体迁移

在线阅读 下载PDF 职称材料

进程迁移对负载平衡影响的实验 被引量：3

15

作者 许封元 房至一 朱维平 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2006年第6期925-930,共6页

研究Amoeba系统一个机群上进行的基于集中式负载平衡管理策略.通过在任务初始化方法中添加和未添加迁移策略的对比实验与无负载平衡管理的结果比较,表明在分布计算系统中采用负载平衡策略是完全必要的,并且可以提高系统性能.具体分析了... 研究Amoeba系统一个机群上进行的基于集中式负载平衡管理策略.通过在任务初始化方法中添加和未添加迁移策略的对比实验与无负载平衡管理的结果比较,表明在分布计算系统中采用负载平衡策略是完全必要的,并且可以提高系统性能.具体分析了进程迁移对系统性能的影响,为负载平衡管理在分布式系统中的应用提供了发展模式,也为迁移策略对系统性能的改进提供了依据. 展开更多

关键词 分布计算系统 负载平衡 进程迁移

在线阅读 下载PDF 职称材料

基于网格的两级动态负载平衡算法 被引量：2

16

作者 李功丽 陈利 李丹 《计算机工程与设计》 CSCD 北大核心 2008年第7期1678-1680,1687,共4页

网格系统具有异构性、动态性和分布性的特点,且资源数量巨大,这使得网格中的任务调度十分复杂。针对网格的特点,在两级树型网格结构的基础上,设计了一种基于该结构的两级负载平衡算法,针对传统的负载平衡算法考虑资源因素单一,难以满足... 网格系统具有异构性、动态性和分布性的特点,且资源数量巨大,这使得网格中的任务调度十分复杂。针对网格的特点,在两级树型网格结构的基础上,设计了一种基于该结构的两级负载平衡算法,针对传统的负载平衡算法考虑资源因素单一,难以满足复杂的网格环境的要求,该算法使用了多种负载参数来衡量网格节点的负载状况。 展开更多

关键词 网格 两级调度 动态负载平衡算法 负载参数 任务迁移

在线阅读 下载PDF 职称材料

分布式系统中一种负载平衡的动态反馈调整自适应算法 被引量：4

17

作者 胡金柱 徐松 《小型微型计算机系统》 CSCD 北大核心 2003年第8期1510-1515,共6页

重点研究了分布式系统中的进程迁移和定位、负荷分担中的负载平衡等问题 ;提出并讨论了基于动态阈值和阈长的进程定位模型和系统负载平衡的动态反馈调整自适应算法 ,还通过具体的实验分析论证了算法的性能 .实验结果说明该算法能在一定... 重点研究了分布式系统中的进程迁移和定位、负荷分担中的负载平衡等问题 ;提出并讨论了基于动态阈值和阈长的进程定位模型和系统负载平衡的动态反馈调整自适应算法 ,还通过具体的实验分析论证了算法的性能 .实验结果说明该算法能在一定的范围内很好地解决进程定位和负载平衡问题 。 展开更多

关键词 分布式系统 进程迁移 负载平衡 动态反馈调整 自适应算法

在线阅读 下载PDF 职称材料

对Condor系统的分析与改进 被引量：4

18

作者 郭雷 鞠九滨 张怡颖 《软件学报》 EI CSCD 北大核心 1997年第5期345-349,共5页

本文分析Ｃｏｎｄｏｒ系统的控制软件、远程系统调用及检查点设备的实现和工作过程，讨论其任务局限性。

关键词 进程迁移 异构型 分布式系统

在线阅读 下载PDF 职称材料

基于PC机群波动方程叠前深度偏移的并行计算策略 被引量：3

19

作者 潘宏勋 方伍宝 《吉林大学学报（地球科学版）》 EI CAS CSCD 北大核心 2008年第4期708-712,共5页

基于波动方程的叠前深度偏移技术是解决复杂地质地貌地区地震成像的一种非常有效的手段,但是在实际应用中面临着数据量巨大和计算量巨大的双重困难。以PC机集群为硬件环境,以MPI消息传递并行编程环境为并行程序设计平台,研究设计出请求... 基于波动方程的叠前深度偏移技术是解决复杂地质地貌地区地震成像的一种非常有效的手段,但是在实际应用中面临着数据量巨大和计算量巨大的双重困难。以PC机集群为硬件环境,以MPI消息传递并行编程环境为并行程序设计平台,研究设计出请求分配作业的主从模式来实现波动方程叠前深度偏移的并行计算,从而解决了动态负载均衡难题,采用的作业登记与分析技术解决了容错处理问题。理论模型数据和实际地震资料测试结果表明:程序运行稳定,并行效率高。对我国东部地区某三维地震数据进行了处理,用请求分配作业的主从模式比平均分配作业的主从模式节省了23.68%的时间。 展开更多

关键词 叠前深度偏移 并行计算 请求分配作业的主从模式 动态负载均衡 容错处理

在线阅读 下载PDF 职称材料

计算机免疫系统中沙盒主机的负载平衡 被引量：1

20

作者 王凤先 曾斌 +1 位作者 张海帆 常卓 《河北大学学报（自然科学版）》 CAS 北大核心 2005年第4期434-438,共5页

讨论了保证仿生计算机免疫系统GECISM(GeneralComputerImmuneSystemModel)中沙盒主机可靠性和高效性的配置策略.改进了现有的自适应动态负载平衡算法,提出能够根据系统负载情况动态修改阈值并通过进程迁移使重负载逐步扩散的动态反馈自... 讨论了保证仿生计算机免疫系统GECISM(GeneralComputerImmuneSystemModel)中沙盒主机可靠性和高效性的配置策略.改进了现有的自适应动态负载平衡算法,提出能够根据系统负载情况动态修改阈值并通过进程迁移使重负载逐步扩散的动态反馈自适应启动算法,该算法有效地解决了沙盒主机负载突变的问题. 展开更多

关键词 计算机免疫 沙盒主机 负载平衡 自适应 进程迁移

在线阅读 下载PDF 职称材料