-
题名多模态命名实体识别方法研究进展
被引量：1
- 1
-
-
作者
王海荣
徐玺
王彤
荆博祥
-
机构
北方民族大学计算科学与工程学院
北方民族大学图像图形智能处理国家民委重点实验室
-
出处
《郑州大学学报（工学版）》
CAS
北大核心
2024年第2期60-71,共12页
-
基金
宁夏回族自治区自然科学基金资助项目(2023AAC03316)
宁夏回族自治区教育厅高等学校科学研究重点项目(NYG2022051)
+1 种基金
北方民族大学中央高校基本科研业务费专项资金资助项目(2022PT_S04)
北方民族大学校级科研项目(2021XYZJK06)。
-
文摘
为了解决多模态命名实体识别(MNER)研究中存在的文本特征语义不足、视觉特征语义缺失、图文特征融合困难等问题,多模态命名实体识别方法相继被提出。首先,总结了多模态命名实体识别方法的整体框架以及各部分常用的技术,随后对其进行梳理并分类为基于BiLSTM的MNER方法和基于Transformer的MNER方法,并根据模型结构将其划分为前融合模型、后融合模型、Transformer单任务模型、Transformer多任务模型等4类模型结构。其次,在Twitter-2015、Twitter-2017 2个数据集上,分别对这2类方法进行实验,结果表明:多特征协同表示能增强各模态特征的语义,多任务学习能够促进模态特征融合或者结果融合,从而提升MNER的准确性。建议在MNER的未来研究中,着重关注通过多特征协同表示来增强模态语义,通过多任务学习促进模态特征融合或结果融合等方向的研究。
-
关键词
多模态命名实体识别
TRANSFORMER
BiLSTM
多模态融合
多任务学习
-
Keywords
multimodal named entity recognition
Transformer
BiLSTM
multimode fusion
multitasking learning
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
TP391.1
[自动化与计算机技术—计算机应用技术]
-
