在文本分类任务中,双向门控循环单元(Bidirectional Gated Recurrent Unit,BiGRU)被广泛使用,其不仅能提取文本上下文语义信息和长距离依赖关系,还可以避免出现传统RNN中存在的梯度弥散或爆炸问题.然而,BiGRU在捕获文本局部特征方面存...在文本分类任务中,双向门控循环单元(Bidirectional Gated Recurrent Unit,BiGRU)被广泛使用,其不仅能提取文本上下文语义信息和长距离依赖关系,还可以避免出现传统RNN中存在的梯度弥散或爆炸问题.然而,BiGRU在捕获文本局部特征方面存在不足.本文提出一种基于自注意力和双向门控循环单元的文本分类模型(Self-attention and Bidirectional-gated-recurrent Unit based Text Classification,SBUTC),利用自注意力机制关注对分类贡献较大的文本部分,使用含有不同尺寸卷积核的多通道CNN提取不同粒度的文本局部特征;通过含有跳层连接结构的堆叠BiGRU网络提取文本间上下文语义信息和长距离依赖关系;将CNN和BiGRU的输出进行特征融合,训练分类器对不同类型的文本信息进行分类.在ChnSentiCorp数据集和THUCNews_Title数据集上的对比实验结果表明,本文提出的模型在分类准确率和F1值上优于其他对比模型.展开更多
文摘在文本分类任务中,双向门控循环单元(Bidirectional Gated Recurrent Unit,BiGRU)被广泛使用,其不仅能提取文本上下文语义信息和长距离依赖关系,还可以避免出现传统RNN中存在的梯度弥散或爆炸问题.然而,BiGRU在捕获文本局部特征方面存在不足.本文提出一种基于自注意力和双向门控循环单元的文本分类模型(Self-attention and Bidirectional-gated-recurrent Unit based Text Classification,SBUTC),利用自注意力机制关注对分类贡献较大的文本部分,使用含有不同尺寸卷积核的多通道CNN提取不同粒度的文本局部特征;通过含有跳层连接结构的堆叠BiGRU网络提取文本间上下文语义信息和长距离依赖关系;将CNN和BiGRU的输出进行特征融合,训练分类器对不同类型的文本信息进行分类.在ChnSentiCorp数据集和THUCNews_Title数据集上的对比实验结果表明,本文提出的模型在分类准确率和F1值上优于其他对比模型.
