-
题名面向多模态知识图谱的实体对齐方法研究
被引量：1
- 1
-
-
作者
张艺玮
周乾
陈伟
赵雷
-
机构
苏州大学计算机科学与技术学院
-
出处
《小型微型计算机系统》
CSCD
北大核心
2024年第5期1257-1263,共7页
-
基金
国家自然科学基金青年基金项目(61902270)资助
国家自然科学基金面上项目(62272332)资助
江苏省高等学校基础科学(自然科学)研究重大项目(19KJA610002)资助。
-
文摘
实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.
-
关键词
多模态
实体对齐
多模态知识图谱嵌入
多模态融合
-
Keywords
multi-modal
entity alignment
multi-modal knowledge graph embedding
multi-modal fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
