基于分布式机器学习算法的科研审计系统安全漏洞识别方法

1

作者 李俊奕 肖亚纳 《兵工自动化》 北大核心 2025年第6期48-51,81,共5页

为解决科研审计系统存在安全性较差、精确率和召回率较低等问题,设计一种基于分布式机器学习算法的科研审计系统安全漏洞识别方法。采集科研审计系统用户数据,对用户节点数据进行分簇,并引入k近邻算法(k-nearest neighbor,KNN)概念建立... 为解决科研审计系统存在安全性较差、精确率和召回率较低等问题,设计一种基于分布式机器学习算法的科研审计系统安全漏洞识别方法。采集科研审计系统用户数据,对用户节点数据进行分簇,并引入k近邻算法(k-nearest neighbor,KNN)概念建立科研审计系统网络分布式结构模型,将具有代表性和多样性的安全漏洞特征进行组合并分类,基于分布式机器学习算法在实际应用中进行安全漏洞识别。通过2种传统的安全漏洞识别方法进行对比。结果表明:该方法可以识别不同类型的安全漏洞,且准确率、精确率和召回率都有提高。 展开更多

关键词 分布式机器学习算法 科研审计系统 安全漏洞识别 分布式结构模型 安全漏洞特征

在线阅读 下载PDF 职称材料

基于分布式机器学习的弹性光网络资源均衡分配研究 被引量：2

2

作者 甘朝松 单桂娟 徐洪敏 《激光杂志》 CAS 北大核心 2024年第11期139-144,共6页

弹性光网络中存在的多条纤芯具有传输信息的功能,但纤芯之间的距离较小,容易出现串扰现象,增加了弹性光网络的误码率。为提高弹性光网络的服务质量并有效地对网络资源进行均衡分配,提出基于分布式机器学习的弹性光网络资源均衡分配方法... 弹性光网络中存在的多条纤芯具有传输信息的功能,但纤芯之间的距离较小,容易出现串扰现象,增加了弹性光网络的误码率。为提高弹性光网络的服务质量并有效地对网络资源进行均衡分配,提出基于分布式机器学习的弹性光网络资源均衡分配方法。将最小化最大占用频隙号作为优化目标,建立串扰优化模型,并引入分布式机器学习中的双鱼算法对模型进行求解,以此提高纤芯传输质量。采用频谱切片的资源分配方法对弹性光网络资源展开分配,计算链路在网络中的资源碎片率,并根据计算结果为业务分配频谱-时间资源窗口,完成资源均衡分配。实验结果表明,所提方法的资源利用率最高时达到了94%,阻塞率最高仅为2.97%,单位比特能耗最高仅为10 nJ/bit,具有实用性。 展开更多

关键词 分布式机器学习 弹性光网络 串扰优化 双鱼算法 资源分配

在线阅读 下载PDF 职称材料

分布式机器学习在RIS辅助的无线信道估计中的应用

3

作者 陈静 邓炳光 冀涵颖 《电讯技术》 北大核心 2024年第4期520-527,共8页

无线信道估计是部署可重构智能超表面(Reconfigurable Intelligent Surface,RIS)辅助通信系统的关键与前提,然而下行链路传输环境下信道估计困难且导频开销大是对智能超表面辅助通信的重大挑战。针对以上问题,提出了一种基于分布式机器... 无线信道估计是部署可重构智能超表面(Reconfigurable Intelligent Surface,RIS)辅助通信系统的关键与前提,然而下行链路传输环境下信道估计困难且导频开销大是对智能超表面辅助通信的重大挑战。针对以上问题,提出了一种基于分布式机器学习(Distributed Machine Learning,DML)训练模型的区域交集切换方案。首先,建立了一个多用户共享的下行信道估计神经网络,通过DML技术协同用户与基站训练网络模型。其次,搭建分层次神经网络结构对用户区域信道进行分类和特征提取。最后,针对用户处于相邻信道交集位置问题采用特征区域模型融合。仿真结果表明,基于区域交集的DML模型方案能在减少信道训练导频开销的同时最大化信道估计的精准性能。 展开更多

关键词 可重构智能超表面(RIS) 信道估计 分布式机器学习(DML)

在线阅读 下载PDF 职称材料

WSN中基于分布式机器学习的异常检测仿真研究 被引量：13

4

作者 肖政宏 陈志刚 李庆华 《系统仿真学报》 CAS CSCD 北大核心 2011年第1期181-187,共7页

安全问题是无线传感器网络应用的关键问题之一。设计了一种基于分布式机器学习的异常检测方案。该方案利用K最近邻算法对传感器网络节点进行分簇,时簇内节点的异常检测采用贝叶斯分类算法,对簇头节点的异常检测采用基于平均概率的方法... 安全问题是无线传感器网络应用的关键问题之一。设计了一种基于分布式机器学习的异常检测方案。该方案利用K最近邻算法对传感器网络节点进行分簇,时簇内节点的异常检测采用贝叶斯分类算法,对簇头节点的异常检测采用基于平均概率的方法。利用网络仿真工具NS2构建了入侵检测规则、模拟了网络攻击场景,在此基础上,通过仿真评估了方案的检测率、平均检测率、误检率和平均误检率等性能。仿真实验结果表明,该方案与当前典型的无线传感器网络入侵检测方案相比具有较高的检测率和较低的误检率。 展开更多

关键词 无线传感器网络 分布式机器学习 K-最近邻分簇 贝叶斯分类 异常检测 网络仿真

在线阅读 下载PDF 职称材料

EGCN-CeDML:一种面向车辆驾驶行为预测的分布式机器学习框架 被引量：3

5

作者 李可 杨玲 +2 位作者 赵晏伯 陈泳龙 罗寿西 《计算机科学》 CSCD 北大核心 2023年第9期318-330,共13页

在大规模动态变化的交通场景下,快速准确地预测车辆驾驶行为是智能交通领域极具挑战的问题之一。车辆驾驶行为的预测不仅要考虑通信的有效性,而且要考虑车辆历史行驶轨迹以及车辆之间的相互影响。文中综合考虑了上述因素,提出了一种新... 在大规模动态变化的交通场景下,快速准确地预测车辆驾驶行为是智能交通领域极具挑战的问题之一。车辆驾驶行为的预测不仅要考虑通信的有效性,而且要考虑车辆历史行驶轨迹以及车辆之间的相互影响。文中综合考虑了上述因素,提出了一种新的基于边-增强图卷神经网络的通信有效的分布式机器学习框架EGCN-CeDML(Edge-enhanced Graph Convolutional Neural Network-Communication-efficient Distributed Machine Learning)。相比面向单一设备的集中式预测框架,EGCN-CeDML是通信有效的分布式机器学习框架,该框架无需将所有原始数据发送到云服务器,而是直接将用户数据在本地边缘设备存储、处理和计算。这种在多个边缘设备训练神经网络的方式缓解了集中训练神经网络的压力,降低了传输数据量和通信延迟,提升了数据处理效率,在一定程度上也保护了用户隐私。各个边缘设备部署的复合图卷积网络(EGCN-LSTM)利用边-增强注意力机制和图卷积神经网络的特征传递机制,当周围车辆数量增长至十几辆时仍能快速提取和传递车辆间的交互信息,保证了较准确的预测性能和较低的时间复杂度。不限于车辆驾驶行为预测,各边缘设备可以根据自身的计算能能力和存储能力,在保证神经网络性能的前提下灵活控制神经网络的类型和规模以适用于不同的应用场景。EGCN-CeDML在公开数据集NGSIM上的实验结果表明:无论交通复杂程度如何,EGCN-CeDML的计算时间和预测性能都优于以往模型,精准率可达0.9391,召回率可达0.9557,F1分数可达0.9473;预测时长为1 s时,预测准确率达到了91.21%;即使车辆数目增加,算法也能保持较低的时间复杂度,且稳定在0.1 s以内。 展开更多

关键词 车辆驾驶行为预测 图卷积网络 边增强 注意力机制 分布式机器学习

在线阅读 下载PDF 职称材料

分布式机器学习系统网络性能优化研究进展 被引量：15

6

作者 王帅 李丹 《计算机学报》 EI CAS CSCD 北大核心 2022年第7期1384-1411,共28页

以机器学习为代表的人工智能技术需要对海量数据进行处理,对底层算力要求极高.分布式机器学习通过将计算任务分布式地部署到多个计算节点来加快模型的训练速度,从而将训练任务完成时间降低到可接受范围.由于通信开销对分布式机器学习系... 以机器学习为代表的人工智能技术需要对海量数据进行处理,对底层算力要求极高.分布式机器学习通过将计算任务分布式地部署到多个计算节点来加快模型的训练速度,从而将训练任务完成时间降低到可接受范围.由于通信开销对分布式机器学习系统的扩展性具有重要影响,因此,分布式机器学习系统网络性能优化受到各界研究者的广泛关注.本文首先分析了分布式机器学习系统扩展性不足的主要原因,并提出了改善其扩展性的关键思路,然后系统地综述了分布式机器学习系统网络性能优化相关的研究工作,并对这些研究工作从多个角度进行了对比分析.最后,对分布式机器学习系统网络性能优化研究的未来发展趋势进行了展望. 展开更多

关键词 分布式机器学习系统 网络优化 参数同步 通信调度 网内聚合

在线阅读 下载PDF 职称材料

分布式机器学习作业性能干扰分析与预测 被引量：1

7

作者 李洪亮 张弄 +1 位作者 孙婷 李想 《计算机应用》 CSCD 北大核心 2022年第6期1649-1655,共7页

通过分析分布式机器学习中作业性能干扰的问题,发现性能干扰是由于内存过载、带宽竞争等GPU资源分配不均导致的,为此设计并实现了快速预测作业间性能干扰的机制,该预测机制能够根据给定的GPU参数和作业类型自适应地预测作业干扰程度。首... 通过分析分布式机器学习中作业性能干扰的问题,发现性能干扰是由于内存过载、带宽竞争等GPU资源分配不均导致的,为此设计并实现了快速预测作业间性能干扰的机制,该预测机制能够根据给定的GPU参数和作业类型自适应地预测作业干扰程度。首先,通过实验获取分布式机器学习作业运行时的GPU参数和干扰率,并分析出各类参数对性能干扰的影响;其次,依托多种预测技术建立GPU参数-干扰率模型进行作业干扰率误差分析;最后,建立自适应的作业干扰率预测算法,面向给定的设备环境和作业集合自动选择误差最小的预测模型,快速、准确地预测作业干扰率。选取5种常用的神经网络作业,在两种GPU设备上设计实验并进行结果分析。结果显示,所提出的自适应干扰预测(AIP)机制能够在不提供任何预先假设信息的前提下快速完成预测模型的选择和性能干扰预测,耗时在300 s以内,预测干扰率误差在2%~13%,可应用于作业调度和负载均衡等场景。 展开更多

关键词 分布式机器学习 性能干扰 集群调度 资源共享 干扰预测

在线阅读 下载PDF 职称材料

分布式机器学习平台与算法综述 被引量：32

8

作者 舒娜 刘波 +1 位作者 林伟伟 李鹏飞 《计算机科学》 CSCD 北大核心 2019年第3期9-18,共10页

分布式机器学习研究将具有大规模数据量和计算量的任务分布式地部署到多台机器上,其核心思想在于"分而治之",有效提高了大规模数据计算的速度并节省了开销。分布式机器学习作为机器学习最重要的研究领域之一,受到各界研究者... 分布式机器学习研究将具有大规模数据量和计算量的任务分布式地部署到多台机器上,其核心思想在于"分而治之",有效提高了大规模数据计算的速度并节省了开销。分布式机器学习作为机器学习最重要的研究领域之一,受到各界研究者的广泛关注。鉴于分布式机器学习的研究意义和实用价值,文中系统综述了分布式机器学习的主流平台Spark,MXNet,Petuum,TensorFlow及PyTorch,并从各个角度深入总结、分析对比其特性;其次,从数据并行和模型并行两方面深入阐述了机器学习算法的分布式实现方式,而后依照整体同步并行模型、异步并行模型和延迟异步并行模型3种方法对机器学习算法的分布式计算模型进行概述;最后,从平台性能改进研究、算法优化、模型通信方式、大规模计算下算法的可扩展性和分布式环境下模型的容错性5个方面探讨了分布式机器学习在未来的研究方向。 展开更多

关键词 大数据 分布式机器学习 机器学习 算法分析 并行计算

在线阅读 下载PDF 职称材料

面向分布式机器学习的网络模态创新 被引量：4

9

作者 郭泽华 朱昊文 徐同文 《电信科学》 2023年第6期44-51,共8页

分布式机器学习作为人工智能的主流计算架构,目前仍然存在数据性能传输不高、模型训练速度慢等缺陷,传统的网络模态无法满足分布式机器学习场景的通信语义,继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术,基于应用... 分布式机器学习作为人工智能的主流计算架构,目前仍然存在数据性能传输不高、模型训练速度慢等缺陷,传统的网络模态无法满足分布式机器学习场景的通信语义,继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术,基于应用特点设计了面向分布式机器学习场景的新型网络模态及其运行逻辑,为多模态网络技术在垂直行业的应用提供了借鉴意义。 展开更多

关键词 多模态网络 分布式机器学习 模型训练 人工智能

在线阅读 下载PDF 职称材料

地理分布式机器学习:超越局域的框架与技术

10

作者 李宗航 虞红芳 汪漪 《中兴通讯技术》 2020年第5期16-22,共7页

提出了一种面向地理分布式机器学习的软件框架Geo MX,该框架从通信架构和压缩传输机制两方面着手优化通信。对应设计了分层参数服务器(HiPS)架构和双向稀疏梯度传输(BiSparse)技术,旨在分别减少广域传输的梯度流数量和流大小。GeoMX在... 提出了一种面向地理分布式机器学习的软件框架Geo MX,该框架从通信架构和压缩传输机制两方面着手优化通信。对应设计了分层参数服务器(HiPS)架构和双向稀疏梯度传输(BiSparse)技术,旨在分别减少广域传输的梯度流数量和流大小。GeoMX在跨广域分布的数据中心上最高可取得4倍于数据中心内MXNET的训练效率,且几乎无精度损失。 展开更多

关键词 大数据 人工智能 地理分布式机器学习 梯度稀疏化

在线阅读 下载PDF 职称材料

面向非独立同分布数据的迭代式联邦学习 被引量：1

11

作者 陈洪洋 李晓会 王天阳 《计算机工程与设计》 北大核心 2025年第4期1064-1071,共8页

针对现有的面向非独立同分布(non-IID)数据的联邦学习优化算法存在训练的模型缺失个性化、模型在测试集上精度较低的问题,提出一种迭代凝聚式簇估计联邦学习算法FL-ICE(iterative cluster estimation federated)。各个客户端联合训练单... 针对现有的面向非独立同分布(non-IID)数据的联邦学习优化算法存在训练的模型缺失个性化、模型在测试集上精度较低的问题,提出一种迭代凝聚式簇估计联邦学习算法FL-ICE(iterative cluster estimation federated)。各个客户端联合训练单个全局共享模型,迭代地依据客户端更新的相似度执行簇估计并通过梯度下降优化簇估计参数,对全局模型进行个性化处理。实验结果表明,该算法可以有效提升模型在测试集上的准确性,使得更大比例的客户端达到目标精度。 展开更多

关键词 联邦学习 分布式机器学习 个性化模型 迭代式训练 簇估计算法 非独立同分布数据 隐私保护

在线阅读 下载PDF 职称材料

异构环境感知的分布式神经网络训练模型 被引量：2

12

作者 咸琳涛 刘晓兰 +1 位作者 王淦 刘建明 《计算机工程与设计》 北大核心 2024年第9期2821-2827,共7页

针对分布式神经网络训练在异构环境中训练速度慢、资源利用率低的问题,提出一种异构环境感知的分布式神经网络训练模型(H-PS)。根据计算节点当前状态动态调度训练任务,使计算节点能够在相同时间完成训练任务,提高资源利用率。提出通信... 针对分布式神经网络训练在异构环境中训练速度慢、资源利用率低的问题,提出一种异构环境感知的分布式神经网络训练模型(H-PS)。根据计算节点当前状态动态调度训练任务,使计算节点能够在相同时间完成训练任务,提高资源利用率。提出通信与计算并行策略,参数服务器与计算节点传输模型参数期间,计算节点持续模型计算,进一步提高资源利用率。使用灵活的量化策略,压缩神经网络模型参数,减少参数服务器与计算节点的通信开销。使用新兴的容器集群进行实验,结果表明,与现有方法相比,H-PS训练时间缩短1.4~3.5倍。 展开更多

关键词 分布式机器学习 异构环境 任务动态规划 通信与计算并行 参数动态量化 深度神经网络 容器集群

在线阅读 下载PDF 职称材料

分布式稀疏软大间隔聚类

13

作者 谢云轩 陈松灿 《数据采集与处理》 CSCD 北大核心 2024年第2期376-384,共9页

虽然软大间隔聚类(Soft large margin clustering,SLMC)相比其他诸如K-Means等算法具有更优的聚类性能与某种程度的可解释性,然而当面对大规模分布存储数据时,均遭遇了同样的可扩展瓶颈,其涉及的核矩阵计算需要高昂的时间代价。消减此... 虽然软大间隔聚类(Soft large margin clustering,SLMC)相比其他诸如K-Means等算法具有更优的聚类性能与某种程度的可解释性,然而当面对大规模分布存储数据时,均遭遇了同样的可扩展瓶颈,其涉及的核矩阵计算需要高昂的时间代价。消减此代价的有效策略之一是采用随机Fourier特征变换逼近核函数,而逼近精度所依赖的特征维度常常过高,隐含着可能过拟合的风险。本文将稀疏性嵌入核SLMC,结合交替方向乘子法(Alternating direction method of multipliers,ADMM),给出了一个分布式稀疏软大间隔聚类算法(Distributed sparse SLMC,DS-SLMC)来克服可扩展问题,同时通过稀疏化获得更好的可解释性。 展开更多

关键词 交替方向乘子法 软大间隔聚类 分布式机器学习 核近似

在线阅读 下载PDF 职称材料

Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架

14

作者 谭文婷 吕存驰 +1 位作者 史骁 赵晓芳 《高技术通讯》 CAS 北大核心 2024年第3期219-232,共14页

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性... 跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。 展开更多

关键词 跨地域分布式机器学习(ML)训练 跨云ML训练 分布式训练框架 serverless 跨云模型同步

在线阅读 下载PDF 职称材料

面向联邦学习的高效分布式训练框架 被引量：4

15

作者 冯晨 顾晶晶 《计算机科学》 CSCD 北大核心 2023年第11期317-326,共10页

联邦学习有效解决了数据孤岛问题,但仍然存在一些挑战。首先,联邦学习的训练节点具有较大的硬件异构性,对训练速度和模型性能存在影响,现有工作主要集中于联邦优化,但多数方法没有解决同步通信模式下各节点计算时间难以协调导致资源浪... 联邦学习有效解决了数据孤岛问题,但仍然存在一些挑战。首先,联邦学习的训练节点具有较大的硬件异构性,对训练速度和模型性能存在影响,现有工作主要集中于联邦优化,但多数方法没有解决同步通信模式下各节点计算时间难以协调导致资源浪费的问题;此外,联邦学习中多数训练节点为移动设备,网络环境差,通信开销高,导致了更严重的网络瓶颈。已有方法通过对训练节点上传的梯度进行压缩来降低通信开销,但不可避免地带来了模型性能损失,难以达到较好的质量和效率的平衡。针对上述难题,在计算阶段,提出了自适应梯度聚合(Adaptive Federated Averaging,AFA),根据各个节点的硬件性能自适应协调本地训练的迭代周期,使得等待全局梯度下载的空闲时间整体最小化,提高了联邦学习的计算效率。在通信阶段,提出双重稀疏化(Double Sparsification,DS),通过在训练节点端和参数服务器端进行梯度稀疏化来最大化降低通信开销。此外,各个训练节点根据本地梯度信息和全局梯度信息的丢失值进行误差补偿,以较小的模型性能损失换取较大的通信开销降低。在图像分类数据集和时序预测数据集上进行实验,结果证明,所提方案有效提高了联邦学习训练的加速比,对模型性能也有一定提升。 展开更多

关键词 联邦学习 分布式机器学习 并行计算 参数同步 稀疏表示

在线阅读 下载PDF 职称材料

图嵌入算法的分布式优化与实现 被引量：2

16

作者 张文涛 苑斌 +1 位作者 张智鹏 崔斌 《软件学报》 EI CSCD 北大核心 2021年第3期636-649,共14页

随着人工智能时代的到来,图嵌入技术被越来越多地用来挖掘图中的信息.然而,现实生活中的图通常很大,因此,分布式图嵌入技术得到了广泛的关注.分布式图嵌入算法面临着两大难点:(1)图嵌入算法多种多样,没有一个通用的框架能够描述大部分... 随着人工智能时代的到来,图嵌入技术被越来越多地用来挖掘图中的信息.然而,现实生活中的图通常很大,因此,分布式图嵌入技术得到了广泛的关注.分布式图嵌入算法面临着两大难点:(1)图嵌入算法多种多样,没有一个通用的框架能够描述大部分的算法;(2)现在的分布式图嵌入算法扩展性不足,当处理大图时性能较低.针对以上两个挑战,首先提出一个通用的分布式图嵌入框架,具体地,将图嵌入算法中的采样流程和训练流程进行解耦,使得框架能够较好地表达多种不同的算法;其次,提出一种基于参数服务器的模型切分嵌入策略,具体地,将模型分别切分到计算节点和参数服务器上,同时使用数据洗牌的操作保证计算节点之间没有模型交互,从而减少了分布式计算中的通信开销.基于参数服务器实现了一种原型系统,并且用充分的实验证明了在不损失精度的前提下,基于模型切分的策略能够比基线系统取得更好的性能. 展开更多

关键词 分布式机器学习 图嵌入 网络优化

在线阅读 下载PDF 职称材料

跨机构联邦学习的激励机制综述 被引量：5

17

作者 王鑫 黄伟口 孙凌云 《计算机科学》 CSCD 北大核心 2024年第3期20-29,共10页

联邦学习作为一种分布式机器学习,有效地解决了大数据时代的数据共享难题。其中,跨机构联邦学习是机构之间互相合作的一种联邦学习类型。如何在跨机构合作的过程中设计合理的激励机制十分重要。文中从跨机构合作的角度,对现有的跨机构... 联邦学习作为一种分布式机器学习,有效地解决了大数据时代的数据共享难题。其中,跨机构联邦学习是机构之间互相合作的一种联邦学习类型。如何在跨机构合作的过程中设计合理的激励机制十分重要。文中从跨机构合作的角度,对现有的跨机构联邦学习的激励机制研究进行了综述。首先介绍跨机构合作过程中的3个基本问题,即高隐私性、数据异质性、公平性,然后分析了以全局模型为中心和以参与者为中心这两种不同的跨机构合作模式下的激励机制设计方法,最后总结了影响跨机构合作稳定发展的几个影响因素,即参与者的数据演变、参与者合作关系变动和参与者的负面行为,并展望了跨机构联邦合作的未来方向。 展开更多

关键词 跨机构联邦学习 激励机制 跨机构合作 分布式机器学习 隐私计算

在线阅读 下载PDF 职称材料

双端聚类的自动调整聚类联邦学习 被引量：1

18

作者 尹春勇 周永成 《计算机应用》 CSCD 北大核心 2024年第10期3011-3020,共10页

联邦学习(FL)是一种分布式机器学习方法,旨在共同训练全局模型,然而全局模型难以胜任多数据分布情况。为应对多分布挑战,引入聚类联邦学习,以客户端分组方式优化共享多模型。其中,服务器端聚类难以修正分类错误,而客户端聚类则对初始模... 联邦学习(FL)是一种分布式机器学习方法,旨在共同训练全局模型,然而全局模型难以胜任多数据分布情况。为应对多分布挑战,引入聚类联邦学习,以客户端分组方式优化共享多模型。其中,服务器端聚类难以修正分类错误,而客户端聚类则对初始模型的选择至关重要。为解决这些问题,提出自动调整聚类联邦学习(AACFL)框架,所提框架采用双端聚类整合服务器端和客户端聚类。首先用双端聚类将客户端分为可调整集群,其次自动调整局部客户端身份,最后获取正确的客户集群。在非独立同分布下,在3个经典联邦数据集上的评估实验结果表明,AACFL能够在双端聚类结果存在错误的情况下通过调整获得正确集群,当簇数为4,客户端数为100时,与联邦平均(FedAvg)算法、聚类联邦学习(CFL)和IFCA(Iterative Federated Clustering Algorithm)等方法相比,有效地提高模型收敛速度和获得正确聚类结果的速度,准确率平均提升0.20~23.16个百分点。验证了所提框架能够高效聚类,并提高模型收敛速度和准确率。 展开更多

关键词 联邦学习 聚类 异构数据 分布式机器学习 神经网络

在线阅读 下载PDF 职称材料

基于注意力增强元学习网络的个性化联邦学习方法 被引量：3

19

作者 高雨佳 王鹏飞 +1 位作者 刘亮 马华东 《计算机研究与发展》 EI CSCD 北大核心 2024年第1期196-208,共13页

联邦学习作为一种分布式机器学习框架,客户端可以在不向服务器传输数据的情况下进行全局模型训练,解决了数据分散和数据隐私的问题.联邦学习可以在具有相似数据特征和分布的客户端上很好地工作.但是在很多场景中,客户端数据在分布、数... 联邦学习作为一种分布式机器学习框架,客户端可以在不向服务器传输数据的情况下进行全局模型训练,解决了数据分散和数据隐私的问题.联邦学习可以在具有相似数据特征和分布的客户端上很好地工作.但是在很多场景中,客户端数据在分布、数量和概念上的不同,造成了全局模型训练困难.为此,个性化联邦学习作为一种新的联邦学习范式被提出,它旨在通过客户端与服务器的协作来保证客户端个性化模型的有效性.直观来讲,为具有相似数据特征和分布的客户端提供更紧密的协作关系可以有利于个性化模型的构建.然而,由于客户端数据的不可见性,如何细粒度地提取客户端特征,并定义它们之间的协作关系是一个挑战.设计了一个注意力增强元学习网络(attention-enhanced meta-learning network,AMN)来解决这个问题.AMN可以利用客户基础模型参数作为输入特征,训练元学习网络为每个客户端提供一个额外的元模型,自动分析客户特征相似性.基于双层网络设计,有效地实现客户端个性与共性的权衡,提供了包含有益客户信息的融合模型.考虑到训练过程中需要同时训练元学习网络和客户本地基础网络,设计了一种交替训练策略,以端到端的方式进行训练.为了证明该方法的有效性,在2个基准数据集和8种基准方法上进行了大量实验,相较于现有表现最优的个性化联邦学习方法,该方法在2个数据集中平均分别提升了3.39%和2.45%的模型性能. 展开更多

关键词 联邦学习 注意力机制 深度学习 元学习 分布式机器学习

在线阅读 下载PDF 职称材料

非独立同分布数据下的自正则化联邦学习优化方法 被引量：4

20

作者 蓝梦婕 蔡剑平 孙岚 《计算机应用》 CSCD 北大核心 2023年第7期2073-2081,共9页

联邦学习(FL)是一种新的分布式机器学习范式,它在保护设备数据隐私的同时打破数据壁垒,从而使各方能在不共享本地数据的前提下协作训练机器学习模型。然而,如何处理不同客户端的非独立同分布(Non-IID)数据仍是FL面临的一个巨大挑战,目... 联邦学习(FL)是一种新的分布式机器学习范式,它在保护设备数据隐私的同时打破数据壁垒,从而使各方能在不共享本地数据的前提下协作训练机器学习模型。然而,如何处理不同客户端的非独立同分布(Non-IID)数据仍是FL面临的一个巨大挑战,目前提出的一些解决方案没有利用好本地模型和全局模型的隐含关系,无法简单而高效地解决问题。针对FL中不同客户端数据的Non-IID问题,提出新的FL优化算法——联邦自正则(FedSR)和动态联邦自正则(Dyn-FedSR)。FedSR在每一轮训练过程中引入自正则化惩罚项动态修改本地损失函数,并通过构建本地模型和全局模型的关系来让本地模型靠近聚合丰富知识的全局模型,从而缓解Non-IID数据带来的客户端偏移问题;Dyn-FedSR则在FedSR基础上通过计算本地模型和全局模型的相似度来动态确定自正则项系数。对不同任务进行的大量实验分析表明,FedSR和Dyn-FedSR这两个算法在各种场景下的表现都明显优于联邦平均(FedAvg)算法、联邦近端(FedProx)优化算法和随机控制平均算法(SCAFFOLD)等FL算法,能够实现高效通信,正确率较高,且对不平衡数据和不确定的本地更新具有鲁棒性。 展开更多

关键词 联邦学习 非独立同分布 客户端偏移 正则化 分布式机器学习 隐私保护

在线阅读 下载PDF 职称材料