多模态生成式摘要往往采用序列到序列(Seq2Seq)框架,目标函数在字符级别优化模型,根据局部最优解生成单词,忽略了摘要样本全局语义信息,使得摘要与多模态信息产生语义偏差,容易造成事实性错误。针对上述问题,提出一种基于语义相关性分...多模态生成式摘要往往采用序列到序列(Seq2Seq)框架,目标函数在字符级别优化模型,根据局部最优解生成单词,忽略了摘要样本全局语义信息,使得摘要与多模态信息产生语义偏差,容易造成事实性错误。针对上述问题,提出一种基于语义相关性分析的多模态摘要模型。首先,在Seq2Seq框架基础上对多模态摘要进行训练,生成语义多样性的候选摘要;其次,构建基于语义相关性分析的摘要评估器,从全局的角度学习候选摘要之间的语义差异性和真实评价指标ROUGE(Recall-Oriented Understudy for Gisting Evaluation)的排序模式,从而在摘要样本层面优化模型;最后,不依赖参考摘要,利用摘要评估器对候选摘要进行评价,使得选出的摘要与源文本在语义空间中尽可能相似。实验结果表明,在公开数据集MMSS上,相较于MPMSE(Multimodal Pointer-generator via Multimodal Selective Encoding)模型,所提模型在ROUGE-1、ROUGE-2、ROUGE-L评价指标上分别提升了3.17、1.21和2.24个百分点。展开更多
在传统的联邦学习系统中,中央服务器在接收到参与方上传的本地模型后,没有对本地模型的合法性进行验证,可能导致后续模型不可靠即模型存储可靠性问题。针对该问题提出一种基于区块链隐私增强的联邦学习可验证安全存储方案(blockchain-ba...在传统的联邦学习系统中,中央服务器在接收到参与方上传的本地模型后,没有对本地模型的合法性进行验证,可能导致后续模型不可靠即模型存储可靠性问题。针对该问题提出一种基于区块链隐私增强的联邦学习可验证安全存储方案(blockchain-based federated learning for model verified security storage, BFL4MVSS)。利用区块链技术,提出验证者投票机制,保证存储模型的可靠性;引入一种奖励机制,允许系统在一定数量的恶意节点存在下正常运行。采用PyTorch框架在MNIST数据集上进行仿真验证,结果表明,其能够在15%的恶意节点的参与下确保模型具有良好的表现。展开更多
文摘多模态生成式摘要往往采用序列到序列(Seq2Seq)框架,目标函数在字符级别优化模型,根据局部最优解生成单词,忽略了摘要样本全局语义信息,使得摘要与多模态信息产生语义偏差,容易造成事实性错误。针对上述问题,提出一种基于语义相关性分析的多模态摘要模型。首先,在Seq2Seq框架基础上对多模态摘要进行训练,生成语义多样性的候选摘要;其次,构建基于语义相关性分析的摘要评估器,从全局的角度学习候选摘要之间的语义差异性和真实评价指标ROUGE(Recall-Oriented Understudy for Gisting Evaluation)的排序模式,从而在摘要样本层面优化模型;最后,不依赖参考摘要,利用摘要评估器对候选摘要进行评价,使得选出的摘要与源文本在语义空间中尽可能相似。实验结果表明,在公开数据集MMSS上,相较于MPMSE(Multimodal Pointer-generator via Multimodal Selective Encoding)模型,所提模型在ROUGE-1、ROUGE-2、ROUGE-L评价指标上分别提升了3.17、1.21和2.24个百分点。
文摘在传统的联邦学习系统中,中央服务器在接收到参与方上传的本地模型后,没有对本地模型的合法性进行验证,可能导致后续模型不可靠即模型存储可靠性问题。针对该问题提出一种基于区块链隐私增强的联邦学习可验证安全存储方案(blockchain-based federated learning for model verified security storage, BFL4MVSS)。利用区块链技术,提出验证者投票机制,保证存储模型的可靠性;引入一种奖励机制,允许系统在一定数量的恶意节点存在下正常运行。采用PyTorch框架在MNIST数据集上进行仿真验证,结果表明,其能够在15%的恶意节点的参与下确保模型具有良好的表现。
