近年来,利用文本、视觉和音频数据分析视频中说话者情感的多模态情感分析(MSA)引起了广泛关注。然而,不同模态在情感分析中的贡献大不相同。通常,文本中包含的信息更加直观,因此寻求一种用于增强文本在情感分析中作用的策略显得尤为重...近年来,利用文本、视觉和音频数据分析视频中说话者情感的多模态情感分析(MSA)引起了广泛关注。然而,不同模态在情感分析中的贡献大不相同。通常,文本中包含的信息更加直观,因此寻求一种用于增强文本在情感分析中作用的策略显得尤为重要。针对这一问题,提出一种跨模态文本信息增强的多模态情感分析模型(MSAMCTE)。首先,使用BERT(Bidirectional Encoder Representations from Transformers)预训练模型提取文本特征,并使用双向长短期记忆(Bi-LSTM)网络对预处理后的音频和视频特征进行进一步处理;其次,通过基于文本的交叉注意力机制,将文本信息融入情感相关的非语言表示中,以学习面向文本的成对跨模态映射,从而获得有效的统一多模态表示;最后,使用融合特征进行情感分析。实验结果表明,与最优的基线模型——文本增强Transformer融合网络(TETFN)相比,MSAM-CTE在数据集CMU-MOSI(Carnegie Mellon University Multimodal Opinion Sentiment Intensity)上的平均绝对误差(MAE)和皮尔逊相关系数(Corr)分别降低了2.6%和提高了0.1%;在数据集CMU-MOSEI(Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity)上的两个指标分别降低了3.8%和提高了1.7%,验证了MSAM-CTE在情感分析中的有效性。展开更多
航行通告是民用航空情报领域的重要情报资料,针对中文航行通告专业名词较多、格式不统一及语义复杂等问题,提出了一种基于BERT-Bi-LSTM-CRF的实体识别模型,对航行通告E项内容中事件要素实体进行抽取。首先通过BERT(bidirectional encode...航行通告是民用航空情报领域的重要情报资料,针对中文航行通告专业名词较多、格式不统一及语义复杂等问题,提出了一种基于BERT-Bi-LSTM-CRF的实体识别模型,对航行通告E项内容中事件要素实体进行抽取。首先通过BERT(bidirectional encoder representations from transforms)模型对处理后的向量进行预训练,捕捉丰富的语义特征,然后传送至双向长短期记忆网络(bidirectional long short-term memory,Bi-LSTM)模型对上下文特征进行提取,最后利用条件随机场(conditional random field,CRF)模型对最佳实体标签预测并输出。收集并整理机场类航行通告相关的原始语料,经过文本标注与数据预处理,形成了可用于实体识别实验的训练集、验证集和评价集数据。基于此数据与不同的实体识别模型进行对比实验,BERT-Bi-LSTM-CRF模型的准确率为89.68%、召回率为81.77%、F_(1)为85.54%,其中F 1相比现有模型得到有效提升,结果验证了该模型在机场类航行通告中要素实体识别的有效性。展开更多
文摘近年来,利用文本、视觉和音频数据分析视频中说话者情感的多模态情感分析(MSA)引起了广泛关注。然而,不同模态在情感分析中的贡献大不相同。通常,文本中包含的信息更加直观,因此寻求一种用于增强文本在情感分析中作用的策略显得尤为重要。针对这一问题,提出一种跨模态文本信息增强的多模态情感分析模型(MSAMCTE)。首先,使用BERT(Bidirectional Encoder Representations from Transformers)预训练模型提取文本特征,并使用双向长短期记忆(Bi-LSTM)网络对预处理后的音频和视频特征进行进一步处理;其次,通过基于文本的交叉注意力机制,将文本信息融入情感相关的非语言表示中,以学习面向文本的成对跨模态映射,从而获得有效的统一多模态表示;最后,使用融合特征进行情感分析。实验结果表明,与最优的基线模型——文本增强Transformer融合网络(TETFN)相比,MSAM-CTE在数据集CMU-MOSI(Carnegie Mellon University Multimodal Opinion Sentiment Intensity)上的平均绝对误差(MAE)和皮尔逊相关系数(Corr)分别降低了2.6%和提高了0.1%;在数据集CMU-MOSEI(Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity)上的两个指标分别降低了3.8%和提高了1.7%,验证了MSAM-CTE在情感分析中的有效性。
文摘航行通告是民用航空情报领域的重要情报资料,针对中文航行通告专业名词较多、格式不统一及语义复杂等问题,提出了一种基于BERT-Bi-LSTM-CRF的实体识别模型,对航行通告E项内容中事件要素实体进行抽取。首先通过BERT(bidirectional encoder representations from transforms)模型对处理后的向量进行预训练,捕捉丰富的语义特征,然后传送至双向长短期记忆网络(bidirectional long short-term memory,Bi-LSTM)模型对上下文特征进行提取,最后利用条件随机场(conditional random field,CRF)模型对最佳实体标签预测并输出。收集并整理机场类航行通告相关的原始语料,经过文本标注与数据预处理,形成了可用于实体识别实验的训练集、验证集和评价集数据。基于此数据与不同的实体识别模型进行对比实验,BERT-Bi-LSTM-CRF模型的准确率为89.68%、召回率为81.77%、F_(1)为85.54%,其中F 1相比现有模型得到有效提升,结果验证了该模型在机场类航行通告中要素实体识别的有效性。
