实体关系抽取任务是对句子中实体对间的语义关系进行识别。该文提出了一种基于Albert预训练语言模型结合图采样与聚合算法(Graph Sampling and Aggregation,GraphSAGE)的实体关系抽取方法,并在藏文实体关系抽取数据集上实验。该文针对...实体关系抽取任务是对句子中实体对间的语义关系进行识别。该文提出了一种基于Albert预训练语言模型结合图采样与聚合算法(Graph Sampling and Aggregation,GraphSAGE)的实体关系抽取方法,并在藏文实体关系抽取数据集上实验。该文针对藏文句子特征表示匮乏、传统藏文实体关系抽取模型准确率不高等问题,提出以下方案:①使用预先训练的藏文Albert模型获得高质量的藏文句子动态词向量特征;②使用提出的图结构数据构建与表示方法生成GraphSAGE模型的输入数据,并通过实验证明了该方法的有效性;③借鉴GraphSAGE模型的优势,利用其图采样与聚合操作进行关系抽取。实验结果表明,该文方法有效提高了藏文实体关系抽取模型的准确率,且优于基线实验效果。展开更多
藏文文本分类是藏语自然语言处理中的一项基础任务,在舆情监测、新闻推送、邮件分类等领域具有重要价值。预训练语言模型加微调的方式是目前主流的文本分类方法。然而,受限于有限的藏文标注数据和计算资源,使用该方法微调更大模型进行...藏文文本分类是藏语自然语言处理中的一项基础任务,在舆情监测、新闻推送、邮件分类等领域具有重要价值。预训练语言模型加微调的方式是目前主流的文本分类方法。然而,受限于有限的藏文标注数据和计算资源,使用该方法微调更大模型进行文本分类研究变得非常困难。针对上述问题,该文提出了一种基于双向软模板方式提示学习的藏文文本分类方法。具体来说,传统的软模板方式提示学习只在输入文本嵌入向量前面添加可优化的软模板向量,但为了适应藏文语法结构,该文方法在输入文本嵌入向量首尾都进行软模板向量拼接。通过当前藏文两个主流藏文文本分类任务(情感分类、新闻主题分类)进行验证,结果表明,该文方法对于预训练语言模型(Pre-trained Language Model,PLM)的分类效果有显著提升。尤其在少样本实验中表现出色,其中,新闻主题分类的Macro-F_(1)值最高提升了5.7%,情感分类的Macro-F_(1)值最高提升了8.3%。展开更多
文摘实体关系抽取任务是对句子中实体对间的语义关系进行识别。该文提出了一种基于Albert预训练语言模型结合图采样与聚合算法(Graph Sampling and Aggregation,GraphSAGE)的实体关系抽取方法,并在藏文实体关系抽取数据集上实验。该文针对藏文句子特征表示匮乏、传统藏文实体关系抽取模型准确率不高等问题,提出以下方案:①使用预先训练的藏文Albert模型获得高质量的藏文句子动态词向量特征;②使用提出的图结构数据构建与表示方法生成GraphSAGE模型的输入数据,并通过实验证明了该方法的有效性;③借鉴GraphSAGE模型的优势,利用其图采样与聚合操作进行关系抽取。实验结果表明,该文方法有效提高了藏文实体关系抽取模型的准确率,且优于基线实验效果。
文摘藏文文本分类是藏语自然语言处理中的一项基础任务,在舆情监测、新闻推送、邮件分类等领域具有重要价值。预训练语言模型加微调的方式是目前主流的文本分类方法。然而,受限于有限的藏文标注数据和计算资源,使用该方法微调更大模型进行文本分类研究变得非常困难。针对上述问题,该文提出了一种基于双向软模板方式提示学习的藏文文本分类方法。具体来说,传统的软模板方式提示学习只在输入文本嵌入向量前面添加可优化的软模板向量,但为了适应藏文语法结构,该文方法在输入文本嵌入向量首尾都进行软模板向量拼接。通过当前藏文两个主流藏文文本分类任务(情感分类、新闻主题分类)进行验证,结果表明,该文方法对于预训练语言模型(Pre-trained Language Model,PLM)的分类效果有显著提升。尤其在少样本实验中表现出色,其中,新闻主题分类的Macro-F_(1)值最高提升了5.7%,情感分类的Macro-F_(1)值最高提升了8.3%。
