车联网联邦学习的数据异质性问题及基于个性化的解决方法综述 被引量：2

1

作者 刘淼 林婉茹 +1 位作者 王琴 桂冠 《通信学报》 EI CSCD 北大核心 2024年第10期207-224,共18页

在车联网(IoV)场景中,不同设备存在海量非独立同分布的数据,容易引发数据异质性问题,影响模型训练性能并威胁交通安全,对此聚焦于车联网联邦学习(FL)的数据异质性问题,通过对问题归因溯源提出了基于个性化的解决方法体系与研究新思路。... 在车联网(IoV)场景中,不同设备存在海量非独立同分布的数据,容易引发数据异质性问题,影响模型训练性能并威胁交通安全,对此聚焦于车联网联邦学习(FL)的数据异质性问题,通过对问题归因溯源提出了基于个性化的解决方法体系与研究新思路。首先,论述了联邦学习用于车联网的必要性,调研总结了车联网联邦学习中典型的数据异质性问题;其次,从感知、计算和传输3个环节对车联网联邦学习的数据异质性问题进行了分类和追踪;再次,引入个性化方法作为解决各类车联网联邦学习数据异质性问题的核心手段,并分析了现有个性化联邦学习的优点与不足;最后,讨论了个性化联邦学习在车联网场景中面临的研究挑战,并结合无线通信等相关技术展望了未来研究方向。 展开更多

关键词 车联网 联邦学习 个性化方法 数据异质性

在线阅读 下载PDF 职称材料

基于异步分层联邦学习的数据异质性处理方法研究

2

作者 郭昌昊 唐湘云 翁彧 《计算机工程与科学》 CSCD 北大核心 2024年第7期1237-1244,共8页

在物联网设备遍布的时代,时刻都在产生大量数据,数据分布和数据量各不相同,因此数据异质性普遍存在。针对物联网环境中智能设备的联邦学习挑战,传统联邦学习的同步机制解决数据异质性(NON-IID)问题并不理想,且面临着单点故障和维护全局... 在物联网设备遍布的时代,时刻都在产生大量数据,数据分布和数据量各不相同,因此数据异质性普遍存在。针对物联网环境中智能设备的联邦学习挑战,传统联邦学习的同步机制解决数据异质性(NON-IID)问题并不理想,且面临着单点故障和维护全局时钟的复杂性问题,而异步机制则可能带来额外的通信开销和NON-IID数据分布导致的过时性问题。分层联邦学习结合异步机制在应对数据异质性的问题时更加灵活,为此,提出了一种基于分层联邦学习的异步分层联邦学习方法。首先,使用BIRCH算法分析物联网中各节点的数据分布并进行簇的划分;然后,对簇中的数据进行拆分与验证,目的是找到数据质量高的节点,然后将数据质量高的簇中的节点打散,重组到其他数据质量低的簇中,形成新的簇;最后,进行簇内聚合和全局聚合的两阶段模型训练。此外,基于MNIST数据集,对提出的方法进行了评估。结果表明,与经典方法相比,所提方法在NON-IID数据集上收敛速度提高,而且在模型精度上提高了15%以上。 展开更多

关键词 物联网 联邦学习 异步联邦学习 分层联邦学习 数据异质性 数据分布

在线阅读 下载PDF 职称材料

面向非独立同分布数据的联邦知识蒸馏算法

3

作者 陈聪 李京 《小型微型计算机系统》 北大核心 2025年第6期1289-1297,共9页

通过在本地训练阶段引入知识蒸馏技术,可以有效保护全局模型的潜在知识,从而缓解联邦学习中的知识遗忘问题.然而,全局模型识别不同类别数据的能力差异很大,在训练样本上直接使用经典的交叉熵蒸馏损失可能会对本地模型造成误导.为了解决... 通过在本地训练阶段引入知识蒸馏技术,可以有效保护全局模型的潜在知识,从而缓解联邦学习中的知识遗忘问题.然而,全局模型识别不同类别数据的能力差异很大,在训练样本上直接使用经典的交叉熵蒸馏损失可能会对本地模型造成误导.为了解决这个问题,本文提出了一种面向非独立同分布数据场景的联邦蒸馏算法.该算法在原始训练样本上使用基于知识解耦和全局模型预测置信度加权的蒸馏损失函数,以避免全局模型的错误预测产生的负面影响;以及通过激进的数据增强方法破坏原始样本的关键特征,在生成样本上使用交叉熵蒸馏损失进行训练,进一步提升蒸馏效果.实验结果表明,本文提出的方法能够有效地缓解非独立同分布数据场景中的知识遗忘现象,在收敛速度和测试精度上优于其它现有算法. 展开更多

关键词 联邦学习 知识蒸馏 知识遗忘 数据异质性 数据增强

在线阅读 下载PDF 职称材料

一种结合数据集蒸馏的联邦学习隐私保护方法

4

作者 王春东 张清华 付浩然 《计算机科学》 北大核心 2025年第S1期924-930,共7页

联邦学习通过交换模型参数而不是数据的方式来训练得到全局模型,以达成隐私保护的目的。但大量研究表明,攻击者可以通过截取到的梯度反推出原始的训练数据,导致客户端的隐私泄露。此外,不同客户端采样方式的不同会导致收集到的数据呈现... 联邦学习通过交换模型参数而不是数据的方式来训练得到全局模型,以达成隐私保护的目的。但大量研究表明,攻击者可以通过截取到的梯度反推出原始的训练数据,导致客户端的隐私泄露。此外,不同客户端采样方式的不同会导致收集到的数据呈现出非独立同分布的现象,这种数据异质性会影响到整体模型的训练性能。为应对梯度反演攻击,将数据蒸馏方法引入到联邦学习框架中,同时结合数据增强方式加强合成数据的可用性。此外,针对不同机构的医疗数据存在的数据异质性问题,将批量归一化层引入客户端,以缓解客户端漂移现象,提高整体模型的性能表现。实验结果表明,在获得与其他联邦学习范式相近性能的同时,结合数据蒸馏的联邦学习方法也提高了对医疗数据隐私的保护力度。 展开更多

关键词 联邦学习 隐私保护 数据蒸馏 图像分类 数据异质性

在线阅读 下载PDF 职称材料

联邦异质性数据下半监督颈椎MRI分割模型 被引量：3

5

作者 潘恩元 钟原 李平 《计算机工程》 CAS CSCD 北大核心 2024年第9期367-376,共10页

利用分割的医学图像进行诊断在临床和医学研究上是一种有效的辅助方法,但由于医学图像的隐私性、分散性和标注困难等问题严重影响了其实际应用效果。对颈椎磁共振成像(MRI)图像分割来说,其图像数据获取更困难,且标注成本高昂,颈椎分割... 利用分割的医学图像进行诊断在临床和医学研究上是一种有效的辅助方法,但由于医学图像的隐私性、分散性和标注困难等问题严重影响了其实际应用效果。对颈椎磁共振成像(MRI)图像分割来说,其图像数据获取更困难,且标注成本高昂,颈椎分割模型在面对不同来源的异质性数据时难以有效提取颈椎细节信息。因此,在联邦学习场景下,针对标注信息缺少以及数据异质性导致分割精度下降的问题,提出一种基于标签分离与引导的多尺度半监督分割网络M-FedLO。M-FedLO通过标签分离的方式分别对椎块与椎间盘进行分割,同时实现多尺度输出,使得椎块与椎间盘的边缘信息得到进一步提取,更好地分离出椎块与椎间盘。在联邦“全局+本地”的模式下,利用全局模型的标签引导,使本地模型在无标签数据上提取的特征与全局模型逼近一致,从而增强本地模型对无标签数据的利用。同时使用随机权重平均(SWA)算法对参数进行优化,缓解模型权重震荡问题,提升模型泛化能力。实验结果表明,与半监督基准分割模型相比,提出的模型不仅在非异质性上的颈椎MRI医学图像分割效果上取得一定的提升,而且在异质性的颈椎图像上也具有较好的成果。在颈椎数据集上与实验结果最好的ICT模型相比较,Disc相似性系数(DSC)指标达到86.86%,提升了1.72个百分点。 展开更多

关键词 颈椎分割 联邦学习 异质性数据 标签分离 多尺度 标签引导

在线阅读 下载PDF 职称材料

以XML文件为例实现在CORBA结构下对异质性数据的访问 被引量：6

6

作者 陈庆章 胡同森 《计算机工程》 CAS CSCD 北大核心 2002年第1期88-90,共3页

该项目实现了一个,将文件包装成的,让可以通过调用提供的CORBA/XML WrapperXMLCORBAServer ObjectClientServer Object访问到文件中的资料,并且在前台提供一个介面让用户查询文件内容。文章提供的方法可以扩展到结构下methodXMLQBE_Like... 该项目实现了一个,将文件包装成的,让可以通过调用提供的CORBA/XML WrapperXMLCORBAServer ObjectClientServer Object访问到文件中的资料,并且在前台提供一个介面让用户查询文件内容。文章提供的方法可以扩展到结构下methodXMLQBE_LikeXMLCORBA的各种关系数据库等异质性数据的访问。 展开更多

关键词 INTERNET XML文件 CORBA 异质性数据 浏览器

在线阅读 下载PDF 职称材料

面向分布式复杂数据样本的联邦语义分割方法综述 被引量：1

7

作者 董成荣 姚俊萍 +2 位作者 李晓军 苏逸 周志杰 《计算机应用研究》 CSCD 北大核心 2024年第6期1610-1617,共8页

语义分割在医学图像分析、战场态势感知等领域起着重要作用,但单一客户端通常无法为模型提供足够数量与多样性的训练数据,因此从复杂多变的分布式数据中训练语义分割模型是有必要的。为了不泄露数据隐私和保护数据安全,应用联邦学习在... 语义分割在医学图像分析、战场态势感知等领域起着重要作用,但单一客户端通常无法为模型提供足够数量与多样性的训练数据,因此从复杂多变的分布式数据中训练语义分割模型是有必要的。为了不泄露数据隐私和保护数据安全,应用联邦学习在多客户端协同训练语义分割模型成为领域研究热点。在联邦语义分割定义基础上,围绕分布式复杂数据样本的数据异质性、标签缺失两个关键特征,开展联邦语义分割的问题描述、技术路径、典型模型实例等综述分析,评估不同方法的适用性及特点,梳理当前应用成果,提出针对该问题的潜在研究机会。研究为开展面向分布式复杂数据样本的联邦语义分割方法及相关研究提供借鉴和参考。 展开更多

关键词 语义分割 联邦学习 协同训练 数据异质性 标签缺失

在线阅读 下载PDF 职称材料

基于中心指导与交替优化的低剂量CT图像恢复方法

8

作者 张晓瑜 王昊 +1 位作者 曾栋 边兆英 《南方医科大学学报》 北大核心 2025年第4期844-852,共9页

目的提出一种基于中心指导与交替优化的低剂量CT图像恢复方法(FedGP)。方法FedGP框架革新了传统的联邦学习模式,采用无固定中央服务器的结构,每个机构交替担任中心服务器。该方法采用机构调制的CT图像恢复网络作为客户端局部训练的核心... 目的提出一种基于中心指导与交替优化的低剂量CT图像恢复方法(FedGP)。方法FedGP框架革新了传统的联邦学习模式,采用无固定中央服务器的结构,每个机构交替担任中心服务器。该方法采用机构调制的CT图像恢复网络作为客户端局部训练的核心,通过中心指导和交替优化的联邦学习方法,中央服务器利用本地标记数据指导客户端局部网络训练,从而显著提升多机构低剂量CT图像恢复模型的泛化能力。结果在低管电流和稀疏角度CT图像恢复任务中,与其他对比的联邦学习方法相比,FedGP方法的CT图像结果在视觉和定量评估上均有明显优势,FedGP获得了最高的PSNR指标(40.25和38.84)、最高的SSIM指标(0.95和0.92)以及最低的RMSE指标(2.39和2.56)。此外,FedGP的消融实验结果表明基于中心指导与交替优化的联邦学习框架能更好适应各机构之间的数据异构性,确保模型在各类成像条件下的稳健性和泛化能力。结论本文提出的FedGP为解决CT成像异质性问题提供了一个更灵活的FL框架,可以更好地适应不同参与方的数据特征,提高模型在多样化成像几何的泛化能力。 展开更多

关键词 计算机断层成像 联邦学习 图像恢复 数据异质性

在线阅读 下载PDF 职称材料

面向边缘计算场景的个性化联邦学习综述

9

作者 何帆 王勇 +1 位作者 杨静 于旭 《通信学报》 北大核心 2025年第7期206-225,共20页

针对传统联邦学习在边缘计算场景中面临边缘节点数据异质、个性化需求等挑战,导致全局模型难以适配多样化的边缘节点,对面向边缘计算场景的个性化联邦学习研究进展进行系统性的综述。首先,回顾个性化联邦学习的背景及意义并分析数据异... 针对传统联邦学习在边缘计算场景中面临边缘节点数据异质、个性化需求等挑战,导致全局模型难以适配多样化的边缘节点,对面向边缘计算场景的个性化联邦学习研究进展进行系统性的综述。首先,回顾个性化联邦学习的背景及意义并分析数据异质性对联邦学习的影响。其次,介绍数据异质性的概念,并归纳数据异质性的常见形式。然后,梳理现阶段面向边缘计算场景的个性化联邦学习研究方法,主要包括基于数据、基于客户端模型优化、基于服务器聚合优化、基于全局架构优化、基于大模型以及基于原型学习的5种关键方法。最后,对其发展趋势进行探讨并展望未来可能的研究方向,为未来个性化联邦学习领域的研究提供指引和方向。 展开更多

关键词 边缘计算场景 模型协同训练 数据异质性 个性化联邦学习

在线阅读 下载PDF 职称材料

异质环境下原型联邦学习模型距离校正与聚合算法

10

作者 王鑫 丁雪爽 《计算机工程与应用》 北大核心 2025年第7期176-187,共12页

针对联邦学习中因客户端数据集非独立同分布及设备算力参差不齐所导致的模型偏差大、收敛不稳定及泛化性差等问题,提出了一种基于原型联邦学习模型距离校正与聚合算法(FedMPD)。FedMPD在客户端本地构建嵌入网络提取异质数据特征,并通过... 针对联邦学习中因客户端数据集非独立同分布及设备算力参差不齐所导致的模型偏差大、收敛不稳定及泛化性差等问题,提出了一种基于原型联邦学习模型距离校正与聚合算法(FedMPD)。FedMPD在客户端本地构建嵌入网络提取异质数据特征,并通过设置局部与全局原型的修正项来校正客户端模型。此外,算法引入了原型距离约束条件,允许客户端根据局部原型与全局原型的距离阈值自适应调整训练周期,以缓解设备异质性的影响。在模型聚合阶段,FedMPD采用了一种加权聚合策略,该策略综合考虑客户端的数据量和局部原型质量,以更准确地量化不同客户端对全局模型的贡献度。实验结果表明,FedMPD在模型收敛稳定性、测试损失降低以及测试精度提升等方面均显著优于传统联邦学习算法,为异质环境下联邦学习提供了一种稳定、高效且逻辑严谨的方法。 展开更多

关键词 联邦学习 原型学习 对比损失 度量学习 异质性数据处理

在线阅读 下载PDF 职称材料

面向异质性医学图像处理的深度学习算法综述 被引量：3

11

作者 马梓博 米悦 +4 位作者 张波 张征 吴静云 黄海文 王文东 《软件学报》 EI CSCD 北大核心 2023年第10期4870-4915,共46页

近年来深度学习技术在诸多计算机视觉任务上取得了令人瞩目的进步,也让越来越多的研究者尝试将其应用于医学图像处理领域,如面向高通量医学图像(CT、MRI)的解剖结构分割等,旨在为医生提供诊断辅助,提高其阅片效率.由于训练医学图像处理... 近年来深度学习技术在诸多计算机视觉任务上取得了令人瞩目的进步,也让越来越多的研究者尝试将其应用于医学图像处理领域,如面向高通量医学图像(CT、MRI)的解剖结构分割等,旨在为医生提供诊断辅助,提高其阅片效率.由于训练医学图像处理的深度学习模型同样需要大量的标注数据,同一医疗机构的数据往往不能满足需求,而受设备和采集协议的差异的影响,不同医疗机构的数据具有很大的异质性,这导致通过某些医疗机构的数据训练得到模型很难在其他医疗机构的数据上取得可靠的结果.此外,不同的医疗数据在患者个体病情阶段的分布上也往往是十分不均匀的,这同样会降低模型的可靠性.为了减少数据异质性的影响,提高模型的泛化能力,域适应、多站点学习等技术应运而生.其中域适应技术作为迁移学习中的研究热点,旨在将源域上学习的知识迁移到未标记的目标域数据上;多站点学习和数据非独立同分布的联邦学习技术则旨在在多个数据集上学习一个共同的表示,以提高模型的鲁棒性.从域适应、多站点学习和数据非独立同分布的联邦学习技术入手,对近年来的相关方法和相关数据集进行了综述、分类和总结,为相关研究提供参考. 展开更多

关键词 医学图像处理 深度学习 数据异质性 域适应 多站点学习 联邦学习

在线阅读 下载PDF 职称材料

面向多中心数据的超图卷积神经网络及应用 被引量：5

12

作者 周海榆 张道强 《计算机科学》 CSCD 北大核心 2022年第3期129-133,共5页

近年来,图神经网络在神经性脑疾病诊断中的应用引起了广泛关注。然而,现有研究中使用的图通常只是基于简单的点对点连接,无法反映3个或更多受试者之间的复杂关联,尤其是在多中心数据集中,即由不同医疗机构所使用的不同采集设备和不同受... 近年来,图神经网络在神经性脑疾病诊断中的应用引起了广泛关注。然而,现有研究中使用的图通常只是基于简单的点对点连接,无法反映3个或更多受试者之间的复杂关联,尤其是在多中心数据集中,即由不同医疗机构所使用的不同采集设备和不同受试人群而集成的具有异质性的数据集。为解决医疗影像数据中存在的多中心异质性问题,提出了一种多中心超图数据结构来描述多中心数据之间的关系。这种超图由两种不同的超边构成,一种是描述单个中心内部关系的中心内超边,另一种是描述不同中心之间关系的跨中心超边。另外,还提出了一种超图卷积神经网络来学习节点的特征表示,这种超图卷积由两部分构成,第一部分是超图节点卷积,第二部分是超边卷积。在两个多中心数据集上的实验结果证明了所提方法的有效性。 展开更多

关键词 多中心数据 数据异质性 脑疾病诊断 图卷积网络 超图卷积网络

在线阅读 下载PDF 职称材料

融合梯度差分的双边校正联邦入侵检测算法

13

作者 金志刚 丁禹 武晓栋 《信息网络安全》 CSCD 北大核心 2024年第2期293-302,共10页

日趋多样的设备组成和灵活的拓扑结构导致联邦入侵检测系统面临数据异质和部分参与的考验,出现了模型泛化性差、本地节点过拟合、灾难性遗忘等问题。为解决上述问题,文章提出融合梯度差分的双边校正联邦入侵检测算法。文章所提算法使用... 日趋多样的设备组成和灵活的拓扑结构导致联邦入侵检测系统面临数据异质和部分参与的考验,出现了模型泛化性差、本地节点过拟合、灾难性遗忘等问题。为解决上述问题,文章提出融合梯度差分的双边校正联邦入侵检测算法。文章所提算法使用节点更新时的梯度差分在服务器和节点双边校正梯度更新方向。聚合阶段,服务器拟合全局梯度差分校正全局模型的更新方向,并以类动量式的梯度更新策略平衡各节点的全局先验知识,解决低泛化性问题。训练阶段,节点结合本地信息、全局信息、历史信息校正本地模型的更新方向,缓解本地过拟合和灾难性遗忘问题。将该算法应用在FedAvg(Federated Average)的实验结果表明,文章所提算法在多种联邦场景下具有优秀的多分类性能,并在保护数据隐私的同时,有效实现了复杂联邦环境下的网络入侵检测。 展开更多

关键词 入侵检测 深度学习 联邦学习 数据异质性

在线阅读 下载PDF 职称材料

基于动态阈值增强原型网络的联邦半监督学习模型

14

作者 陈涛 谢在鹏 屈志昊 《智能系统学报》 CSCD 北大核心 2024年第3期534-545,共12页

目前,联邦半监督学习面临着有效利用训练过程中大量无标签数据的挑战。尽管通过轻量级的原型网络实现客户端之间的知识共享可以缓解伪标签质量问题,但仍然有瓶颈。本文提出一种新的动态阈值增强下的原型网络联邦半监督学习算法。通过引... 目前,联邦半监督学习面临着有效利用训练过程中大量无标签数据的挑战。尽管通过轻量级的原型网络实现客户端之间的知识共享可以缓解伪标签质量问题,但仍然有瓶颈。本文提出一种新的动态阈值增强下的原型网络联邦半监督学习算法。通过引入课程伪标签技术,其核心是对不同类别样本的学习状态动态调整阈值,使模型能够学习高质量的样本,显著提高模型的预测性能。实验结果表明,本算法在多个数据集上均取得优异的测试性能。在CIFAR-10数据集上,本算法相对于同类算法至少提高3%的测试精度。此外在SVHN和STL-10数据集上也有1%~7%的领先优势。值得注意的是,本算法在处理异质性和同质性数据时表现出色,且对于不同比例的有标签和无标签数据都具有良好的适应性。本算法不仅提高测试精度,而且未带来额外的通信开销和计算成本。这些结果表明本算法在联邦半监督学习领域具有巨大潜力,并为实际应用提供了一个性能卓越且高效的解决方案。 展开更多

关键词 联邦学习 半监督学习 知识共享 原型网络 伪标签 动态阈值 无标签数据 数据异质性

在线阅读 下载PDF 职称材料

基于异构设备的自适应分配编码器的联邦学习

15

作者 刘乐 武淑红 +2 位作者 于丹 马垚 陈永乐 《计算机工程与设计》 北大核心 2024年第9期2569-2576,共8页

在联邦学习中,不同用户的设备计算、通信、储存能力存在很大差别,容易产生掉队等不公平问题,对现有的联邦学习提出重大挑战。为解决这一问题,提出一种自适应编码器分配模型(federated learning adaptive encoders,FedAE),根据设备的性... 在联邦学习中,不同用户的设备计算、通信、储存能力存在很大差别,容易产生掉队等不公平问题,对现有的联邦学习提出重大挑战。为解决这一问题,提出一种自适应编码器分配模型(federated learning adaptive encoders,FedAE),根据设备的性能将不同编码器组合发送给用户进行本地更新,在服务器端对相应的编码器进行参数聚合。通过这样按需分配,使得所有设备充分发挥设备性能,保证公平。FedAE通过级联分类器进行分类处理,提高模型整体的准确性,节省计算资源。通过实验对比准确度、收敛性快慢等方面,FedAE在解决设备异构问题上提供了更好的方案。 展开更多

关键词 联邦学习 数据异质性 设备异构 自适应分配 异构框架 编码器 计算资源

在线阅读 下载PDF 职称材料

考虑时间不稳定性的货车事故严重程度分析 被引量：5

16

作者 周备 孙晴 张生瑞 《中国安全科学学报》 CAS CSCD 北大核心 2022年第11期160-167,共8页

为提高货车交通安全,以英国STATS数据库中2014—2019年29213条事故数据为研究对象,将事故严重程度作为因变量,将人、车、路和环境等事故特征作为自变量,构建随机参数有序Logit模型,并采用对数似然比,检验测试6年内事故数据的时间稳定性... 为提高货车交通安全,以英国STATS数据库中2014—2019年29213条事故数据为研究对象,将事故严重程度作为因变量,将人、车、路和环境等事故特征作为自变量,构建随机参数有序Logit模型,并采用对数似然比,检验测试6年内事故数据的时间稳定性。结果表明:事故数据存在严重的时间不稳定性,应将其划分为2014—2016、2017、2018和2019年4个年份分组分别建模;60岁以上小汽车驾驶员、货车转弯、货车变道等8个变量在4个模型中均显著影响事故严重程度,其他变量仅在特定年份事故模型中有显著影响;此外,60岁以上小汽车驾驶员、货车变道等9个变量在特定年份事故模型中对事故严重程度具有异质性影响。 展开更多

关键词 时间不稳定性 货车-小汽车碰撞事故 事故严重程度 数据异质性 随机参数有序Logit模型

在线阅读 下载PDF 职称材料