尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破。但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从...尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破。但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从而导致最后分类效果不佳。此外,多版本预训练词向量比单个版本的预训练词向量包含更多的信息。因此提出了一种基于CNN的多通道特征表示文本分类模型(multi-channel feature representation text classification model based on CNN,MC-CNN)。该模型首先通过两个不同的双向长短期记忆(bi-directional long short-term memory,Bi-LSTM)来对不同来源词向量所表示的文本序列进行正逆序上的特征提取,并以此形成多通道特征;然后利用多尺度卷积网络来进一步使得模型能够同时充分考虑到当前时刻之前以及之后的信息,从而更加有效地进行文本分类。MC-CNN在MR、SST-2、TREC、AG、Yelp_F、Yelp_P数据集上分别达到了81.6%、87.4%、98.6%、94.1%、65.9%、96.8%的准确率,实验结果表明本文模型MC-CNN在文本分类任务中具有优异的效果。展开更多
文摘尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破。但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从而导致最后分类效果不佳。此外,多版本预训练词向量比单个版本的预训练词向量包含更多的信息。因此提出了一种基于CNN的多通道特征表示文本分类模型(multi-channel feature representation text classification model based on CNN,MC-CNN)。该模型首先通过两个不同的双向长短期记忆(bi-directional long short-term memory,Bi-LSTM)来对不同来源词向量所表示的文本序列进行正逆序上的特征提取,并以此形成多通道特征;然后利用多尺度卷积网络来进一步使得模型能够同时充分考虑到当前时刻之前以及之后的信息,从而更加有效地进行文本分类。MC-CNN在MR、SST-2、TREC、AG、Yelp_F、Yelp_P数据集上分别达到了81.6%、87.4%、98.6%、94.1%、65.9%、96.8%的准确率,实验结果表明本文模型MC-CNN在文本分类任务中具有优异的效果。
