利用深度学习模型和注意力机制对微博文本进行细粒度情感分类,已成为研究的热点,但是现有注意力机制只考虑单词对单词的影响,对单词本身的多种维度特性(如词义、词性、语义等特征信息)缺乏有效的融合。为了解决这个问题,文中提出了一种...利用深度学习模型和注意力机制对微博文本进行细粒度情感分类,已成为研究的热点,但是现有注意力机制只考虑单词对单词的影响,对单词本身的多种维度特性(如词义、词性、语义等特征信息)缺乏有效的融合。为了解决这个问题,文中提出了一种双重权重机制WDWM(Word and Dimension Weight Mechanism),并将其与基于解析依赖树的GCN模型相结合,通过选择每条微博中含有关键信息的单词,来抽取单词的重要维度特性,对单词的多种维度特性进行有效融合,从而捕获更加丰富的特征信息。在针对微博细粒度情感分类的实验中,融合双重权重机制和图卷积神经网络的微博细粒度情感分类模型(WDWM-GCN)的F测度达到了84.02%,比2020年提出的最新的算法高出1.7%,这进一步证明,WDWM-GCN能对单词的多维度特性进行有效的融合,能够捕获丰富的特征信息。在对搜狗新闻数据集进行分类的实验中,BERT模型在加入WDWM后,其分类效果得到了进一步提升,这充分证明WDWM对所提分类模型有明显的改进效果。展开更多
Google Brain提出了一种用于神经机器翻译(NMT)的简单模型Transformer,该模型完全基于注意力机制,避免使用循环神经网路(RNN),解决了RNN无法并行化的问题.本文在Transformer模型的基础上提出了基于词级权重(Word-Level Weights)的模型...Google Brain提出了一种用于神经机器翻译(NMT)的简单模型Transformer,该模型完全基于注意力机制,避免使用循环神经网路(RNN),解决了RNN无法并行化的问题.本文在Transformer模型的基础上提出了基于词级权重(Word-Level Weights)的模型改进方法,即根据不同单词在句子中的重要性通过神经网络自学习所获得相应的权重,将此权重与Transformer模型相结合.该方法提高了Transformer模型的稳定性和准确性,并在IWSLT16翻译任务中提高了模型的BLEU得分.展开更多
文摘利用深度学习模型和注意力机制对微博文本进行细粒度情感分类,已成为研究的热点,但是现有注意力机制只考虑单词对单词的影响,对单词本身的多种维度特性(如词义、词性、语义等特征信息)缺乏有效的融合。为了解决这个问题,文中提出了一种双重权重机制WDWM(Word and Dimension Weight Mechanism),并将其与基于解析依赖树的GCN模型相结合,通过选择每条微博中含有关键信息的单词,来抽取单词的重要维度特性,对单词的多种维度特性进行有效融合,从而捕获更加丰富的特征信息。在针对微博细粒度情感分类的实验中,融合双重权重机制和图卷积神经网络的微博细粒度情感分类模型(WDWM-GCN)的F测度达到了84.02%,比2020年提出的最新的算法高出1.7%,这进一步证明,WDWM-GCN能对单词的多维度特性进行有效的融合,能够捕获丰富的特征信息。在对搜狗新闻数据集进行分类的实验中,BERT模型在加入WDWM后,其分类效果得到了进一步提升,这充分证明WDWM对所提分类模型有明显的改进效果。
