Heterogeneous federated learning(HtFL)has gained significant attention due to its ability to accommodate diverse models and data from distributed combat units.The prototype-based HtFL methods were proposed to reduce t...Heterogeneous federated learning(HtFL)has gained significant attention due to its ability to accommodate diverse models and data from distributed combat units.The prototype-based HtFL methods were proposed to reduce the high communication cost of transmitting model parameters.These methods allow for the sharing of only class representatives between heterogeneous clients while maintaining privacy.However,existing prototype learning approaches fail to take the data distribution of clients into consideration,which results in suboptimal global prototype learning and insufficient client model personalization capabilities.To address these issues,we propose a fair trainable prototype federated learning(FedFTP)algorithm,which employs a fair sampling training prototype(FSTP)mechanism and a hyperbolic space constraints(HSC)mechanism to enhance the fairness and effectiveness of prototype learning on the server in heterogeneous environments.Furthermore,a local prototype stable update(LPSU)mechanism is proposed as a means of maintaining personalization while promoting global consistency,based on contrastive learning.Comprehensive experimental results demonstrate that FedFTP achieves state-of-the-art performance in HtFL scenarios.展开更多
The development of 3D geological models involves the integration of large amounts of geological data,as well as additional accessible proprietary lithological, structural,geochemical,geophysical,and borehole data.Luan...The development of 3D geological models involves the integration of large amounts of geological data,as well as additional accessible proprietary lithological, structural,geochemical,geophysical,and borehole data.Luanchuan,the case study area,southwestern Henan Province,is an important molybdenum-tungsten -lead-zinc polymetallic belt in China.展开更多
传统联邦学习中经过加权聚合得到的全局模型无法应对跨客户端的数据异构的问题。现有研究通过形成个性化模型应对,但个性化模型如何平衡全局的共性信息和本地的个性信息是一个挑战。针对上述问题,提出了一种个性化联邦学习模型聚合框架F...传统联邦学习中经过加权聚合得到的全局模型无法应对跨客户端的数据异构的问题。现有研究通过形成个性化模型应对,但个性化模型如何平衡全局的共性信息和本地的个性信息是一个挑战。针对上述问题,提出了一种个性化联邦学习模型聚合框架FedPG(federated learning with personalized global model)。FedPG基于客户端模型的相似性,将归一化后的模型参数变化量的余弦相似度作为模型聚合的个性化权重,从而实现面向客户端的全局模型个性化聚合。通过引入平滑系数,该框架可以灵活地调整模型中共性信息和个性信息的比重。为了降低平滑系数的选择成本,进一步提出调度平滑系数的个性化联邦学习模型聚合框架FedPGS(federated learning with personalized global model and scheduled personalization)。在实验中,FedPG和FedPGS两个框架使得FedAvg、FedProto、FedProx算法在特征分布偏移的数据集上的准确率平均提升1.20~11.50百分点,且使得模型的准确率受恶意设备的影响更小。结果表明,FedPG和FedPGS框架在数据异构和存在恶意设备干扰的情况下能有效提升模型的准确率和鲁棒性。展开更多
大语言模型(large language model,LLM)技术热潮对数据质量的要求提升到了一个新的高度.在现实场景中,数据通常来源不同且高度相关.但由于数据隐私安全问题,跨域异质数据往往不允许集中共享,难以被LLM高效利用.鉴于此,提出了一种LLM和...大语言模型(large language model,LLM)技术热潮对数据质量的要求提升到了一个新的高度.在现实场景中,数据通常来源不同且高度相关.但由于数据隐私安全问题,跨域异质数据往往不允许集中共享,难以被LLM高效利用.鉴于此,提出了一种LLM和知识图谱(knowledge graph,KG)协同的跨域异质数据查询框架,在LLM+KG的范式下给出跨域异质数据查询的一个治理方案.为确保LLM能够适应多场景中的跨域异质数据,首先采用适配器对跨域异质数据进行融合,并构建相应的知识图谱.为提高查询效率,引入线性知识图,并提出同源知识图抽取算法HKGE来实现知识图谱的重构,可显著提高查询性能,确保跨域异质数据治理的高效性.进而,为保证多域数据查询的高可信度,提出可信候选子图匹配算法Trust HKGM,用于检验跨域同源数据的置信度计算和可信候选子图匹配,剔除低质量节点.最后,提出基于线性知识图提示的多域数据查询算法MKLGP,实现LLM+KG范式下的高效可信跨域查询.该方法在多个真实数据集上进行了广泛实验,验证了所提方法的有效性和高效性.展开更多
异质图是由不同类型节点及边构成的图,可建模现实世界中各种类型对象及其关系。异质图嵌入旨在捕捉图中丰富的属性、结构和语义等信息,学习节点嵌入向量,用于节点分类、链接预测等任务,进而实现用户识别、商品推荐等应用。在异质图嵌入...异质图是由不同类型节点及边构成的图,可建模现实世界中各种类型对象及其关系。异质图嵌入旨在捕捉图中丰富的属性、结构和语义等信息,学习节点嵌入向量,用于节点分类、链接预测等任务,进而实现用户识别、商品推荐等应用。在异质图嵌入方法中,元路径通常被用来获取节点间的高阶结构和语义信息,然而现有方法忽略了元路径实例中不同类型节点或异质图中不同类型邻居节点的差异,导致信息丢失,进而影响节点嵌入质量。针对上述问题,提出基于数据增强的异质图注意力网络(Heterogeneous graph Attention Network based on Data Augmentation,HANDA),以更好地学习节点嵌入向量。首先,提出基于元路径邻居的边增强。该方法基于元路径获取节点的元路径邻居,用节点及其元路径邻居形成的语义边增强异质图。这些增强边不仅蕴含了节点间的高阶结构和语义,还缓解了异质图的稀疏性。其次,提出融入节点类型注意力的节点嵌入。该方法采用多头注意力从多个角度学习不同直接边邻居及增强边邻居的重要性并在注意力中融入节点的类型信息,进而通过消息传递、直接边邻居及增强边邻居同时获取节点的属性、高阶结构和语义信息,提升了节点嵌入质量。在真实数据集上的实验验证了HANDA模型在节点分类、链接预测任务上的效果优于基准模型。展开更多
基金supported by the Natural Science Foundation of Xinjiang Uygur Autonomous Region(No.2022D01B187).
文摘Heterogeneous federated learning(HtFL)has gained significant attention due to its ability to accommodate diverse models and data from distributed combat units.The prototype-based HtFL methods were proposed to reduce the high communication cost of transmitting model parameters.These methods allow for the sharing of only class representatives between heterogeneous clients while maintaining privacy.However,existing prototype learning approaches fail to take the data distribution of clients into consideration,which results in suboptimal global prototype learning and insufficient client model personalization capabilities.To address these issues,we propose a fair trainable prototype federated learning(FedFTP)algorithm,which employs a fair sampling training prototype(FSTP)mechanism and a hyperbolic space constraints(HSC)mechanism to enhance the fairness and effectiveness of prototype learning on the server in heterogeneous environments.Furthermore,a local prototype stable update(LPSU)mechanism is proposed as a means of maintaining personalization while promoting global consistency,based on contrastive learning.Comprehensive experimental results demonstrate that FedFTP achieves state-of-the-art performance in HtFL scenarios.
文摘The development of 3D geological models involves the integration of large amounts of geological data,as well as additional accessible proprietary lithological, structural,geochemical,geophysical,and borehole data.Luanchuan,the case study area,southwestern Henan Province,is an important molybdenum-tungsten -lead-zinc polymetallic belt in China.
文摘传统联邦学习中经过加权聚合得到的全局模型无法应对跨客户端的数据异构的问题。现有研究通过形成个性化模型应对,但个性化模型如何平衡全局的共性信息和本地的个性信息是一个挑战。针对上述问题,提出了一种个性化联邦学习模型聚合框架FedPG(federated learning with personalized global model)。FedPG基于客户端模型的相似性,将归一化后的模型参数变化量的余弦相似度作为模型聚合的个性化权重,从而实现面向客户端的全局模型个性化聚合。通过引入平滑系数,该框架可以灵活地调整模型中共性信息和个性信息的比重。为了降低平滑系数的选择成本,进一步提出调度平滑系数的个性化联邦学习模型聚合框架FedPGS(federated learning with personalized global model and scheduled personalization)。在实验中,FedPG和FedPGS两个框架使得FedAvg、FedProto、FedProx算法在特征分布偏移的数据集上的准确率平均提升1.20~11.50百分点,且使得模型的准确率受恶意设备的影响更小。结果表明,FedPG和FedPGS框架在数据异构和存在恶意设备干扰的情况下能有效提升模型的准确率和鲁棒性。
文摘大语言模型(large language model,LLM)技术热潮对数据质量的要求提升到了一个新的高度.在现实场景中,数据通常来源不同且高度相关.但由于数据隐私安全问题,跨域异质数据往往不允许集中共享,难以被LLM高效利用.鉴于此,提出了一种LLM和知识图谱(knowledge graph,KG)协同的跨域异质数据查询框架,在LLM+KG的范式下给出跨域异质数据查询的一个治理方案.为确保LLM能够适应多场景中的跨域异质数据,首先采用适配器对跨域异质数据进行融合,并构建相应的知识图谱.为提高查询效率,引入线性知识图,并提出同源知识图抽取算法HKGE来实现知识图谱的重构,可显著提高查询性能,确保跨域异质数据治理的高效性.进而,为保证多域数据查询的高可信度,提出可信候选子图匹配算法Trust HKGM,用于检验跨域同源数据的置信度计算和可信候选子图匹配,剔除低质量节点.最后,提出基于线性知识图提示的多域数据查询算法MKLGP,实现LLM+KG范式下的高效可信跨域查询.该方法在多个真实数据集上进行了广泛实验,验证了所提方法的有效性和高效性.
文摘异质图是由不同类型节点及边构成的图,可建模现实世界中各种类型对象及其关系。异质图嵌入旨在捕捉图中丰富的属性、结构和语义等信息,学习节点嵌入向量,用于节点分类、链接预测等任务,进而实现用户识别、商品推荐等应用。在异质图嵌入方法中,元路径通常被用来获取节点间的高阶结构和语义信息,然而现有方法忽略了元路径实例中不同类型节点或异质图中不同类型邻居节点的差异,导致信息丢失,进而影响节点嵌入质量。针对上述问题,提出基于数据增强的异质图注意力网络(Heterogeneous graph Attention Network based on Data Augmentation,HANDA),以更好地学习节点嵌入向量。首先,提出基于元路径邻居的边增强。该方法基于元路径获取节点的元路径邻居,用节点及其元路径邻居形成的语义边增强异质图。这些增强边不仅蕴含了节点间的高阶结构和语义,还缓解了异质图的稀疏性。其次,提出融入节点类型注意力的节点嵌入。该方法采用多头注意力从多个角度学习不同直接边邻居及增强边邻居的重要性并在注意力中融入节点的类型信息,进而通过消息传递、直接边邻居及增强边邻居同时获取节点的属性、高阶结构和语义信息,提升了节点嵌入质量。在真实数据集上的实验验证了HANDA模型在节点分类、链接预测任务上的效果优于基准模型。
