随着互联网信息的发展,如何有效地表示不同语言所含的信息已成为自然语言处理(Natural Language Processing,NLP)领域的一项重要任务.然而,很多传统的机器学习模型依赖在高资源语言中进行训练,无法迁移到低资源语言中使用.为了解决这一...随着互联网信息的发展,如何有效地表示不同语言所含的信息已成为自然语言处理(Natural Language Processing,NLP)领域的一项重要任务.然而,很多传统的机器学习模型依赖在高资源语言中进行训练,无法迁移到低资源语言中使用.为了解决这一问题,结合迁移学习和深度学习模型,提出一种多语言双向编码器表征量(Multi-lingual Bidirectional Encoder Representations from Transformers,M-BERT)的迁移学习方法.该方法利用M-BERT作为特征提取器,在源语言领域和目标语言领域之间进行特征转换,减小不同语言领域之间的差异,从而提高目标任务在不同领域之间的泛化能力.首先,在构建BERT模型的基础上,通过数据收集处理、训练设置、参数估计和模型训练等预训练操作完成M-BERT模型的构建,并在目标任务上进行微调.然后,利用迁移学习实现M-BERT模型在跨语言文本分析方面的应用.最后,在从英语到法语和德语的跨语言迁移实验中,证明了本文模型具有较高的性能质量和较小的计算量,并在联合训练方案中达到了96.2%的准确率.研究结果表明,该文模型实现了跨语言数据迁移,且验证了其在跨语言NLP领域的有效性和创新性.展开更多
针对多数知识追踪研究在表征题目时仅利用了题目包含的概念等显性特征,未能考虑到题目中概念的考察侧重程度这一隐性特征,也未表征迁移过程中题目的迁移程度的问题,本文提出题目迁移表征的知识追踪模型。在题目侧重表征方面,采用加性注...针对多数知识追踪研究在表征题目时仅利用了题目包含的概念等显性特征,未能考虑到题目中概念的考察侧重程度这一隐性特征,也未表征迁移过程中题目的迁移程度的问题,本文提出题目迁移表征的知识追踪模型。在题目侧重表征方面,采用加性注意力机制提取题目中各个概念的考察侧重程度;在题目迁移方面,利用相似性和通道注意力机制融合建模历史题目多角度的迁移程度;在迁移遗忘方面,使用门限机制建模学习迁移的遗忘过程。最终得到题目迁移表征,以此来预测学习者未来的答题表现。在实验阶段,与6种相关模型在3个真实数据集上进行对比实验,结果表明提出模型的曲线下面积(area under the curve,AUC)和准确率(accuracy,ACC)均有更好表现,尤其在ASSISTments2012数据集上表现最佳,相较于其他对比模型分别提升了3.5%~20.1%和2.3%~18.5%;在可解释性方面,使用图表可视化描述了题目迁移表征生成路径。本研究建模的学习迁移内在机制可为知识追踪模型的设计提供参考。展开更多
文摘随着互联网信息的发展,如何有效地表示不同语言所含的信息已成为自然语言处理(Natural Language Processing,NLP)领域的一项重要任务.然而,很多传统的机器学习模型依赖在高资源语言中进行训练,无法迁移到低资源语言中使用.为了解决这一问题,结合迁移学习和深度学习模型,提出一种多语言双向编码器表征量(Multi-lingual Bidirectional Encoder Representations from Transformers,M-BERT)的迁移学习方法.该方法利用M-BERT作为特征提取器,在源语言领域和目标语言领域之间进行特征转换,减小不同语言领域之间的差异,从而提高目标任务在不同领域之间的泛化能力.首先,在构建BERT模型的基础上,通过数据收集处理、训练设置、参数估计和模型训练等预训练操作完成M-BERT模型的构建,并在目标任务上进行微调.然后,利用迁移学习实现M-BERT模型在跨语言文本分析方面的应用.最后,在从英语到法语和德语的跨语言迁移实验中,证明了本文模型具有较高的性能质量和较小的计算量,并在联合训练方案中达到了96.2%的准确率.研究结果表明,该文模型实现了跨语言数据迁移,且验证了其在跨语言NLP领域的有效性和创新性.
文摘针对多数知识追踪研究在表征题目时仅利用了题目包含的概念等显性特征,未能考虑到题目中概念的考察侧重程度这一隐性特征,也未表征迁移过程中题目的迁移程度的问题,本文提出题目迁移表征的知识追踪模型。在题目侧重表征方面,采用加性注意力机制提取题目中各个概念的考察侧重程度;在题目迁移方面,利用相似性和通道注意力机制融合建模历史题目多角度的迁移程度;在迁移遗忘方面,使用门限机制建模学习迁移的遗忘过程。最终得到题目迁移表征,以此来预测学习者未来的答题表现。在实验阶段,与6种相关模型在3个真实数据集上进行对比实验,结果表明提出模型的曲线下面积(area under the curve,AUC)和准确率(accuracy,ACC)均有更好表现,尤其在ASSISTments2012数据集上表现最佳,相较于其他对比模型分别提升了3.5%~20.1%和2.3%~18.5%;在可解释性方面,使用图表可视化描述了题目迁移表征生成路径。本研究建模的学习迁移内在机制可为知识追踪模型的设计提供参考。
