-
题名面向机器阅读理解的高质量藏语数据集构建
被引量：4
- 1
-
-
作者
孙媛
刘思思
陈超凡
旦正错
赵小兵
-
机构
中央民族大学信息工程学院
国家语言资源监测与研究少数民族语言中心
民族语言智能分析与安全冶理教育部重点实验室
-
出处
《中文信息学报》
CSCD
北大核心
2024年第3期56-64,共9页
-
基金
国家自然科学基金(61972436)
中央民族大学项目(GRSCP202316,2023QNYL22)。
-
文摘
机器阅读理解是通过算法让机器根据给定的上下文回答问题,从而测试机器理解自然语言的程度。其中,数据集的构建是机器阅读理解的主要任务之一。目前,相关算法模型在大多数流行的英语数据集上都取得了显著的成绩,甚至超过了人类表现。但对于低资源语言,由于缺乏相应的数据集,机器阅读理解研究尚处于起步阶段。该文以藏语为例,人工构建了藏语机器阅读理解数据集(TibetanQA),其中包含20000个问题答案对和1513篇文章。该数据集的文章均来自云藏网,涵盖了自然、文化和教育等12个领域,问题形式多样且具有一定的难度。另外,该数据集在文章收集、问题构建、答案验证、回答多样性和推理能力等方面,均采用严格的流程以确保数据的质量,同时采用基于语言特征消融输入的验证方法说明了数据集的质量。最后,该文初步探索了三种经典的英语阅读理解模型在TibetanQA数据集上的表现,其结果难以媲美人类,这表明藏语机器阅读理解任务还需要更进一步的探索。
-
关键词
机器阅读理解
低资源语言
藏语
数据集
-
Keywords
machine reading comprehension
low-resource languages
Tibetan
datasets
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
