针对现有的基于注意力机制的方法难以捕捉文本之间复杂的依赖关系的问题,提出一种基于对比学习增强双注意力机制的多标签文本分类方法。首先,分别学习基于自注意力和基于标签注意力的文本表示,并融合二者以获得更全面的文本表示捕捉文...针对现有的基于注意力机制的方法难以捕捉文本之间复杂的依赖关系的问题,提出一种基于对比学习增强双注意力机制的多标签文本分类方法。首先,分别学习基于自注意力和基于标签注意力的文本表示,并融合二者以获得更全面的文本表示捕捉文本的结构特征以及文本与标签之间的语义关联;其次,给定一个多标签对比学习目标,利用标签引导的文本相似度监督文本表示的学习,以捕捉文本之间在主题、内容和结构层面上复杂的依赖关系;最后,使用前馈神经网络作为分类器进行文本分类。实验结果表明,相较于LDGN(Label-specific Dual Graph neural Network),所提方法在EUR-Lex(European Union Law Document)数据集与Reuters-21578数据集上的排名第5处的归一化折现累积收益(nDCG@5)值分别提升了1.81和0.86个百分点,在AAPD(Arxiv Academic Paper Dataset)数据集与RCV1(Reuters Corpus VolumeⅠ)数据集上也都取得了有竞争力的结果。可见,所提方法能有效捕捉文本之间在主题、内容和结构层面上复杂的依赖关系,从而在多标签文本分类任务上取得较优结果。展开更多
文摘针对现有的基于注意力机制的方法难以捕捉文本之间复杂的依赖关系的问题,提出一种基于对比学习增强双注意力机制的多标签文本分类方法。首先,分别学习基于自注意力和基于标签注意力的文本表示,并融合二者以获得更全面的文本表示捕捉文本的结构特征以及文本与标签之间的语义关联;其次,给定一个多标签对比学习目标,利用标签引导的文本相似度监督文本表示的学习,以捕捉文本之间在主题、内容和结构层面上复杂的依赖关系;最后,使用前馈神经网络作为分类器进行文本分类。实验结果表明,相较于LDGN(Label-specific Dual Graph neural Network),所提方法在EUR-Lex(European Union Law Document)数据集与Reuters-21578数据集上的排名第5处的归一化折现累积收益(nDCG@5)值分别提升了1.81和0.86个百分点,在AAPD(Arxiv Academic Paper Dataset)数据集与RCV1(Reuters Corpus VolumeⅠ)数据集上也都取得了有竞争力的结果。可见,所提方法能有效捕捉文本之间在主题、内容和结构层面上复杂的依赖关系,从而在多标签文本分类任务上取得较优结果。
