-
题名大语言模型在中学历史学科中的应用测评分析
被引量：5
- 1
-
-
作者
申丽萍
何朝帆
曹东旭
朱云彬
吴永和
-
机构
上海交通大学计算机科学与工程系
上海交大附属中学
上海交大第二附属中学
华东师范大学教育信息技术学系
-
出处
《现代教育技术》
CSSCI
2024年第2期62-71,共10页
-
文摘
大语言模型一经发布便获得广泛关注,但其在实际应用特别是教育领域的应用还存在诸多局限与挑战,因此需要对大语言模型在中文语境下的能力与风险进行测评。基于此,文章首先收集整理了一个包括10万条客观选择题与10套中学主观题测试卷的中学历史数据集,并在以ChatGPT、GPT-4和讯飞星火为代表的大语言模型上测试了该数据集中题目的回答表现。然后,文章详细分析了测试结果,发现虽然当前大语言模型的突出能力在于能够产生完整且流畅的表达,但其在中学历史知识测试中仍远低于适龄学生的平均水平,大语言模型应用于教育领域仍存在可靠性较差、可信度较低、具有偏见与歧视、推理能力不足、无法自动更新知识等问题。最后,文章针对大语言模型在中文语境下教育领域的应用提出建议,以期助力大语言模型在教育领域发挥更大的作用,为学生、教师带来更好的学习和教学体验。
-
关键词
大语言模型
ChatGPT
讯飞星火
教育应用
测评
-
Keywords
large language models
ChatGPT
IFLYTEK Spark
education applicational
evaluation and analysis
-
分类号
G40-057
[文化科学—教育学原理]
-
