针对在联邦学习中实施隐私保护机制会加剧系统通信负担,而当试图提升系统通信效率时,又会牺牲模型精度的问题,设计了一种兼顾高效性和安全性的联邦学习方案FedPSR(Federated Parameter Sparsification with secure aggregation and Reco...针对在联邦学习中实施隐私保护机制会加剧系统通信负担,而当试图提升系统通信效率时,又会牺牲模型精度的问题,设计了一种兼顾高效性和安全性的联邦学习方案FedPSR(Federated Parameter Sparsification with secure aggregation and Reconstruction)。该方案旨在平衡由时间复杂度与通信开销构成的模型通信效率和隐私安全性。首先,利用稀疏三元压缩(STC)算法的参数稀疏化策略将待上传的模型参数压缩为三元组形式,以减少数据传输量;其次,为弥补因参数压缩带来的信息损失,采用错误反馈机制将上一轮压缩产生的误差累加至下一轮本地更新后的梯度;最后,采用Paillier同态加密技术保证了模型在高效通信前提下的参数传输及聚合过程的隐私安全。在多个公开数据集上将FedPSR与当前前沿方案在独立同分布(IID)及非独立同分布(Non-IID)的数据场景下进行对比分析,实验结果表明,FedPSR解决了现存方案无法在时间复杂度、通信开销、隐私保护间取得平衡的问题,且在3个主流数据集的IID与Non-IID条件下都有效提高了模型的精度、收敛性及鲁棒性。展开更多
医疗关系抽取可以识别医疗文本中实体间的关系,在医疗领域中发挥了积极作用。然而现有的关系抽取模型没有充分利用文本的全部特征,如文本的层次结构信息。该文提出了一种多特征融合模型(Multi Feature Fusion model,MFF),在使用实体类...医疗关系抽取可以识别医疗文本中实体间的关系,在医疗领域中发挥了积极作用。然而现有的关系抽取模型没有充分利用文本的全部特征,如文本的层次结构信息。该文提出了一种多特征融合模型(Multi Feature Fusion model,MFF),在使用实体类型标记方法处理文本中的主体和客体的基础上,使用BERT获取语义信息,并使用双向长短时记忆网络(Bidirectional Long Short Term Memory,BiLSTM)获取上下文信息,通过图卷积网络(Graph Convolutional Network,GCN)提取多种剪枝策略下的句法依存树中的层次结构信息,最后将获取的多种特征进行融合后完成关系抽取任务。在两个中文医疗实体关系抽取数据集CMeIE和TCM上进行实验,与其他先进模型相比,其F1值有所提高,证明了模型的有效性。该文的代码开源到https://github.com/zzhdbw/RE_MFF,供复现与参考。展开更多
文摘针对在联邦学习中实施隐私保护机制会加剧系统通信负担,而当试图提升系统通信效率时,又会牺牲模型精度的问题,设计了一种兼顾高效性和安全性的联邦学习方案FedPSR(Federated Parameter Sparsification with secure aggregation and Reconstruction)。该方案旨在平衡由时间复杂度与通信开销构成的模型通信效率和隐私安全性。首先,利用稀疏三元压缩(STC)算法的参数稀疏化策略将待上传的模型参数压缩为三元组形式,以减少数据传输量;其次,为弥补因参数压缩带来的信息损失,采用错误反馈机制将上一轮压缩产生的误差累加至下一轮本地更新后的梯度;最后,采用Paillier同态加密技术保证了模型在高效通信前提下的参数传输及聚合过程的隐私安全。在多个公开数据集上将FedPSR与当前前沿方案在独立同分布(IID)及非独立同分布(Non-IID)的数据场景下进行对比分析,实验结果表明,FedPSR解决了现存方案无法在时间复杂度、通信开销、隐私保护间取得平衡的问题,且在3个主流数据集的IID与Non-IID条件下都有效提高了模型的精度、收敛性及鲁棒性。
文摘医疗关系抽取可以识别医疗文本中实体间的关系,在医疗领域中发挥了积极作用。然而现有的关系抽取模型没有充分利用文本的全部特征,如文本的层次结构信息。该文提出了一种多特征融合模型(Multi Feature Fusion model,MFF),在使用实体类型标记方法处理文本中的主体和客体的基础上,使用BERT获取语义信息,并使用双向长短时记忆网络(Bidirectional Long Short Term Memory,BiLSTM)获取上下文信息,通过图卷积网络(Graph Convolutional Network,GCN)提取多种剪枝策略下的句法依存树中的层次结构信息,最后将获取的多种特征进行融合后完成关系抽取任务。在两个中文医疗实体关系抽取数据集CMeIE和TCM上进行实验,与其他先进模型相比,其F1值有所提高,证明了模型的有效性。该文的代码开源到https://github.com/zzhdbw/RE_MFF,供复现与参考。
