分布式机器学习网络通信优化技术 被引量：3

1

作者 张汉钢 邓鑫源 +3 位作者 宋晔 薛旭伟 郭秉礼 黄善国 《邮电设计技术》 2024年第2期27-30,共4页

Ring all-reduce算法被广泛应用在分布式机器学习之中,其同步过程会受到慢节点的影响进而降低整个系统的效率。对Ring all-reduce中的Reduce_Scatter和Allgather 2个阶段进行分析,针对Reduce_Scatter数据汇总过程提出优化策略,其主要思... Ring all-reduce算法被广泛应用在分布式机器学习之中,其同步过程会受到慢节点的影响进而降低整个系统的效率。对Ring all-reduce中的Reduce_Scatter和Allgather 2个阶段进行分析,针对Reduce_Scatter数据汇总过程提出优化策略,其主要思想是将慢节点多出的计算时间与通信时间进行重叠。使用OMNet++对Ring all-reduce和优化策略进行对比仿真,仿真结果与理论分析相一致,该策略相比Ring all-reduce算法最高能缩短25.3%的训练时间。 展开更多

关键词 Ring all-reduce算法 分布式机器学习 Ring all-reduce优化策略

在线阅读 下载PDF 职称材料

分布式机器学习在RIS辅助的无线信道估计中的应用

2

作者 陈静 邓炳光 冀涵颖 《电讯技术》 北大核心 2024年第4期520-527,共8页

无线信道估计是部署可重构智能超表面(Reconfigurable Intelligent Surface,RIS)辅助通信系统的关键与前提,然而下行链路传输环境下信道估计困难且导频开销大是对智能超表面辅助通信的重大挑战。针对以上问题,提出了一种基于分布式机器... 无线信道估计是部署可重构智能超表面(Reconfigurable Intelligent Surface,RIS)辅助通信系统的关键与前提,然而下行链路传输环境下信道估计困难且导频开销大是对智能超表面辅助通信的重大挑战。针对以上问题,提出了一种基于分布式机器学习(Distributed Machine Learning,DML)训练模型的区域交集切换方案。首先,建立了一个多用户共享的下行信道估计神经网络,通过DML技术协同用户与基站训练网络模型。其次,搭建分层次神经网络结构对用户区域信道进行分类和特征提取。最后,针对用户处于相邻信道交集位置问题采用特征区域模型融合。仿真结果表明,基于区域交集的DML模型方案能在减少信道训练导频开销的同时最大化信道估计的精准性能。 展开更多

关键词 可重构智能超表面(RIS) 信道估计 分布式机器学习(DML)

在线阅读 下载PDF 职称材料

基于分布式机器学习的弹性光网络资源均衡分配研究

3

作者 甘朝松 单桂娟 徐洪敏 《激光杂志》 CAS 北大核心 2024年第11期139-144,共6页

弹性光网络中存在的多条纤芯具有传输信息的功能,但纤芯之间的距离较小,容易出现串扰现象,增加了弹性光网络的误码率。为提高弹性光网络的服务质量并有效地对网络资源进行均衡分配,提出基于分布式机器学习的弹性光网络资源均衡分配方法... 弹性光网络中存在的多条纤芯具有传输信息的功能,但纤芯之间的距离较小,容易出现串扰现象,增加了弹性光网络的误码率。为提高弹性光网络的服务质量并有效地对网络资源进行均衡分配,提出基于分布式机器学习的弹性光网络资源均衡分配方法。将最小化最大占用频隙号作为优化目标,建立串扰优化模型,并引入分布式机器学习中的双鱼算法对模型进行求解,以此提高纤芯传输质量。采用频谱切片的资源分配方法对弹性光网络资源展开分配,计算链路在网络中的资源碎片率,并根据计算结果为业务分配频谱-时间资源窗口,完成资源均衡分配。实验结果表明,所提方法的资源利用率最高时达到了94%,阻塞率最高仅为2.97%,单位比特能耗最高仅为10 nJ/bit,具有实用性。 展开更多

关键词 分布式机器学习 弹性光网络 串扰优化 双鱼算法 资源分配

在线阅读 下载PDF 职称材料

面向分布式机器学习的网络模态创新 被引量：4

4

作者 郭泽华 朱昊文 徐同文 《电信科学》 2023年第6期44-51,共8页

分布式机器学习作为人工智能的主流计算架构,目前仍然存在数据性能传输不高、模型训练速度慢等缺陷,传统的网络模态无法满足分布式机器学习场景的通信语义,继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术,基于应用... 分布式机器学习作为人工智能的主流计算架构,目前仍然存在数据性能传输不高、模型训练速度慢等缺陷,传统的网络模态无法满足分布式机器学习场景的通信语义,继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术,基于应用特点设计了面向分布式机器学习场景的新型网络模态及其运行逻辑,为多模态网络技术在垂直行业的应用提供了借鉴意义。 展开更多

关键词 多模态网络 分布式机器学习 模型训练 人工智能

在线阅读 下载PDF 职称材料

地理分布式机器学习:超越局域的框架与技术

5

作者 李宗航 虞红芳 汪漪 《中兴通讯技术》 2020年第5期16-22,共7页

提出了一种面向地理分布式机器学习的软件框架Geo MX,该框架从通信架构和压缩传输机制两方面着手优化通信。对应设计了分层参数服务器(HiPS)架构和双向稀疏梯度传输(BiSparse)技术,旨在分别减少广域传输的梯度流数量和流大小。GeoMX在... 提出了一种面向地理分布式机器学习的软件框架Geo MX,该框架从通信架构和压缩传输机制两方面着手优化通信。对应设计了分层参数服务器(HiPS)架构和双向稀疏梯度传输(BiSparse)技术,旨在分别减少广域传输的梯度流数量和流大小。GeoMX在跨广域分布的数据中心上最高可取得4倍于数据中心内MXNET的训练效率,且几乎无精度损失。 展开更多

关键词 大数据 人工智能 地理分布式机器学习 梯度稀疏化

在线阅读 下载PDF 职称材料

基于分布式机器学习的节点资源负载均衡方法

6

作者 吴争光 宋明康 +2 位作者 柯腾辉 戴鹏 李卫东 《中国新通信》 2022年第15期48-50,共3页

目前,随着短视频、大数据技术的快速发展,区域内网络资源的负载均衡对于区域网络性能的影响越来越大。其中,网络链路、网络节点对于数据的分发、处理所需要时间的不均衡是影响网络资源不均衡的主要原因之一。本文提出了一种面向分布式... 目前,随着短视频、大数据技术的快速发展,区域内网络资源的负载均衡对于区域网络性能的影响越来越大。其中,网络链路、网络节点对于数据的分发、处理所需要时间的不均衡是影响网络资源不均衡的主要原因之一。本文提出了一种面向分布式机器学习的节点资源负载均衡方法,建立基于时间序列的节点空闲时长预测模型,通过空闲节点的当前运行数据预测空闲节点在未来时刻的空闲时长和节点的最大可利用资源。区域核心服务器可将区域内的待处理数据资源进行分布式分发,实现区域网络资源的负载均衡. 展开更多

关键词 分布式机器学习 负载均衡

在线阅读 下载PDF 职称材料

Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架

7

作者 谭文婷 吕存驰 +1 位作者 史骁 赵晓芳 《高技术通讯》 CAS 北大核心 2024年第3期219-232,共14页

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性... 跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。 展开更多

关键词 跨地域分布式机器学习(ML)训练 跨云ML训练 分布式训练框架 serverless 跨云模型同步

在线阅读 下载PDF 职称材料

面向智能通信和计算的移动边缘分布式学习:现状、挑战与方法 被引量：3

8

作者 谢雨良 田雨晴 张朝阳 《移动通信》 2023年第6期48-55,共8页

分布式机器学习被视为发展下一代智能通信网的基石。然而,在无线网络上部署分布式学习面临若干挑战,包括不确定的无线环境、有限的通信资源等。如何在无线边缘网络上高效地部署分布式学习成为研究热点。将调研论述无线人工智能在分布式... 分布式机器学习被视为发展下一代智能通信网的基石。然而,在无线网络上部署分布式学习面临若干挑战,包括不确定的无线环境、有限的通信资源等。如何在无线边缘网络上高效地部署分布式学习成为研究热点。将调研论述无线人工智能在分布式架构中的国内外研究现状及挑战,重点介绍几种新兴的分布式学习范式,包括联邦学习、分布式推理和多智能体强化学习。最后从全局的角度,描述了移动分布式学习减少通信代价的研究现状和未来发展。 展开更多

关键词 分布式机器学习 无线边缘计算 联邦学习 分布式推理 多智能体强化学习 通信效率

在线阅读 下载PDF 职称材料

基于全同态加密的联邦学习隐私保护技术研究

9

作者 李秋贤 周全兴 《现代信息科技》 2024年第23期170-174,共5页

随着数据隐私保护需求的不断增加,联邦学习作为一种分布式机器学习方法,能够在不集中数据的情况下进行模型训练。而联邦学习仍面临参与方数据在模型训练过程中泄露的风险。为解决这一问题,文章提出了一种基于全同态加密的联邦学习隐私... 随着数据隐私保护需求的不断增加,联邦学习作为一种分布式机器学习方法,能够在不集中数据的情况下进行模型训练。而联邦学习仍面临参与方数据在模型训练过程中泄露的风险。为解决这一问题,文章提出了一种基于全同态加密的联邦学习隐私保护技术。通过在联邦学习的模型参数聚合阶段引入全同态加密技术,使得参数计算和更新均在加密态下完成,从而确保了参与方数据的隐私安全。同时设计了一个高效的隐私保护框架,并在多个公开数据集上进行了实验验证。实验结果表明,所提出的联邦学习框架不仅保证了模型准确性,也提高了数据隐私保护的安全性和计算效率。 展开更多

关键词 联邦学习 全同态加密 隐私保护 分布式机器学习 数据安全

在线阅读 下载PDF 职称材料

联邦学习框架实现难点剖析 被引量：3

10

作者 顾龙浩 龚永罡 +1 位作者 付静 廉小亲 《信息技术与信息化》 2021年第2期105-107,共3页

当前已经从IT时代进入到DT时代,机器学习发展到现阶段,能否获得量大质高的数据已成为制约其发展的重要因素。在这样的背景下,数据共享、数据融合的需求日渐强烈,由于传统的机器学习需要将数据集中,往往会因为数据孤岛问题以及数据隐私... 当前已经从IT时代进入到DT时代,机器学习发展到现阶段,能否获得量大质高的数据已成为制约其发展的重要因素。在这样的背景下,数据共享、数据融合的需求日渐强烈,由于传统的机器学习需要将数据集中,往往会因为数据孤岛问题以及数据隐私保护的要求,导致企业间、甚至是企业各部门之前无法进行数据共享。为解决这一难题,联邦学习的概念应运而生,本文通过对比联邦学习与传统分布式学习的区别来使读者更清楚联邦学习的概念,并剖析了目前联邦学习框架实现的难点。 展开更多

关键词 联邦学习 数据融合 分布式机器学习

在线阅读 下载PDF 职称材料

大数据处理系统的研究进展与展望 被引量：9

11

作者 王鹏 张利 《高技术通讯》 CAS CSCD 北大核心 2015年第8期793-801,共9页

论述了大数据处理技术的最新研究进展。首先,为了便于从整体上了解研究现状,从负载类型和数据类型两个角度对目前的大数据处理系统进行了分类;其次,深入介绍了批处理编程框架的研究进展,重点讨论了面向大规模图分析、分布式机器学习等... 论述了大数据处理技术的最新研究进展。首先,为了便于从整体上了解研究现状,从负载类型和数据类型两个角度对目前的大数据处理系统进行了分类;其次,深入介绍了批处理编程框架的研究进展,重点讨论了面向大规模图分析、分布式机器学习等应用领域的编程框架,包括计算特点、面临的挑战和设计原理等;最后,对大数据的研究热点和趋势进行了展望,指出异构硬件平台的并行训练、串行代码的自动化并行以及混合编程是未来大数据处理技术的研究热点。 展开更多

关键词 大数据 MAPREDUCE SPARK 并行计算 大规模图计算 分布式机器学习 深度学习

在线阅读 下载PDF 职称材料

面向大规模矩阵乘法的编码计算性能研究

12

作者 王艳 王希龄 +1 位作者 赖宏达 李念爽 《华东交通大学学报》 2021年第3期41-51,共11页

为了更好地使用编码计算提高分布式机器学习算法运行效率,需要对大规模矩阵乘法的编码计算方案性能开销进行充分的研究。该文考察了面向大规模矩阵乘法的编码计算方案的任务完成时间,同时也考虑了所有参与分布式计算的节点总的计算开销... 为了更好地使用编码计算提高分布式机器学习算法运行效率,需要对大规模矩阵乘法的编码计算方案性能开销进行充分的研究。该文考察了面向大规模矩阵乘法的编码计算方案的任务完成时间,同时也考虑了所有参与分布式计算的节点总的计算开销,给出了各个工作节点完成计算任务的时间,均匀分布场景下总的任务完成时间和集群机器总的计算时间的表达式,对比分析了3种编码方案的性能,并通过实验对比了不同情况对任务完成时间与计算节点总计算开销影响,提出了一个启发式算法,提供了不同编码计算方案的选择依据。 展开更多

关键词 编码计算 分布式机器学习 矩阵乘法 掉队节点 性能研究

在线阅读 下载PDF 职称材料

面向边缘智能的空中计算 被引量：2

13

作者 曹晓雯 莫小鹏 许杰 《中兴通讯技术》 2020年第4期31-37,共7页

边缘智能模型训练中的无线通信开销已成为系统性能瓶颈,空中计算是解决该问题的重要技术。利用无线多址接入信道的信号叠加特性,空中计算技术能够在多终端无线信号传输的同时,对参数汇总计算,从而实现通信计算一体化设计,降低无线通信开... 边缘智能模型训练中的无线通信开销已成为系统性能瓶颈,空中计算是解决该问题的重要技术。利用无线多址接入信道的信号叠加特性,空中计算技术能够在多终端无线信号传输的同时,对参数汇总计算,从而实现通信计算一体化设计,降低无线通信开销,提高边缘智能系统性能。通过实例介绍了空中计算的基本原理及其在边缘智能中的应用,并展望了未来研究方向。 展开更多

关键词 边缘智能 空中计算 分布式机器学习 多址接入信道

在线阅读 下载PDF 职称材料

新型拓扑感知的参数交换方案

14

作者 万鑫晨 胡水海 张骏雪 《中兴通讯技术》 2020年第5期9-15,共7页

定义了一种新型拓扑感知的参数交换方案——弹性全局规约树(RAT)。针对底层物理拓扑及其超额认购条件,RAT建立了一种树状规约模式,该模式指定了参数聚合模式,其中每个聚合节点负责在规约阶段聚合一个超额认购区域内的所有工作的梯度,并... 定义了一种新型拓扑感知的参数交换方案——弹性全局规约树(RAT)。针对底层物理拓扑及其超额认购条件,RAT建立了一种树状规约模式,该模式指定了参数聚合模式,其中每个聚合节点负责在规约阶段聚合一个超额认购区域内的所有工作的梯度,并在广播阶段将更新传回给工作节点。实验表明,该方法能有效地减少跨超额认购区域流量,缩短依赖链。 展开更多

关键词 分布式机器学习 全局规约算法 参数交换方案

在线阅读 下载PDF 职称材料