-
题名抽查设定下基于学生评价能力的同行互评概率图模型
- 1
-
-
作者
许嘉
杨攀原
吕品
刘恒
-
机构
广州大学网络空间安全学院
广西大学计算机与电子信息学院
广西医科大学信息与管理学院
-
出处
《工程科学与技术》
北大核心
2025年第1期80-88,共9页
-
基金
国家自然科学基金项目(62067001)。
-
文摘
随着大量中文MOOC平台的兴起,批改大规模学生提交的主观题作业成为教育研究领域亟待解决的问题。同行互评要求学生作为同行评价者来批改同伴的作业,是解决该挑战问题的主流方法。近年来,研究人员基于概率图模型对同行评价者的评分可靠性和偏见建模,有效提升了基于同行评价打分估计主观题作业真实分数的准确性。然而,现有概率图模型只考虑学生在本次作业上的得分对其评分可靠性的影响,未对可以直接衡量评价者评分可靠性的学生评分偏差进行建模,存在局限性。鉴于此,本文结合教师抽查的方式,基于学生评分偏差对评价者评价能力进行有效量化,并以此为基础提出两种新颖的同行互评概率图模型,即RPG_(6)(reliability-aware peer grading 6)和RPG_(7)(reliability-aware peer grading 7)。这两个模型在现有概率图模型的基础上,在学生的评分可靠性建模中添加了基于评分偏差感知的学生评价能力,以提高模型对作业真实分数的估计准确性。真实课堂实验表明,本文提出的RPG_(6)和RPG_(7)模型在同行互评活动中对作业真实分数的估计更为准确,比现有最好技术在均方根误差方面平均降低了11.75%。
-
关键词
同行互评
概率图模型
真实分数估计
评分偏差
评价能力
抽查
-
Keywords
peer assessment
probabilistic graph model
true score estimation
scoring deviation
grading ability
spot-checking
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名面向在线教育的同伴互评技术综述
被引量：5
- 2
-
-
作者
许嘉
刘静
于戈
吕品
杨攀原
-
机构
广西大学计算机与电子信息学院
广西多媒体通信与网络技术重点实验室(广西大学)
东北大学计算机科学与工程学院
-
出处
《计算机应用》
CSCD
北大核心
2022年第12期3913-3923,共11页
-
基金
国家自然科学基金资助项目(62067001,U1811261)
“广西八桂学者”专项
+2 种基金
广西自然科学基金资助项目(2019JJA170045)
广西高等教育本科教学改革工程项目(2020JGA116)
广西研究生教育创新计划项目(JGY2021003)。
-
文摘
随着以慕课(MOOC)为代表的在线教育平台的迅速发展,如何评价平台学习者提交的大规模主观题作业是面临的重大挑战。同伴互评是有效应对大规模主观题作业评价挑战的主流方案,近年来受到学术界与工业界的广泛关注。鉴于此,对面向在线教育的同伴互评技术进行了调研与分析。首先,概述当前实施同伴互评的通用流程;然后,分别阐述评价者分配、评语分析、异常互评信息检测与处理以及主观题作业真实分数估计等重要的同伴互评流程活动的主要研究成果;其次,对比具有代表性的在线教育平台或已发布的教学系统中的同伴互评功能;最后,总结和展望同伴互评的未来发展趋势,为正在从事或打算从事同伴互评研究的人们提供借鉴与参考。
-
关键词
在线教育
同伴互评
真实分数估计
评语分析
评价者分配
异常检测
-
Keywords
online education
peer grading
true grade estimation
comment analysis
grader allocation
anomaly detection
-
分类号
TP391.6
[自动化与计算机技术—计算机应用技术]
-
-
题名一种基于认知诊断的主观题同行互评技术
被引量：2
- 3
-
-
作者
许嘉
李秋云
刘静
吕品
于戈
-
机构
广西大学计算机与电子信息学院
广西大学广西多媒体通信网络技术重点实验室
广西大学广西高校并行与分布式计算重点实验室
东北大学计算机科学与工程学院
-
出处
《小型微型计算机系统》
CSCD
北大核心
2022年第8期1653-1660,共8页
-
基金
国家自然科学基金项目(62067001,U1811261)资助
“广西八桂学者”专项经费项目资助
+1 种基金
广西自然科学基金项目(2019JJA170045)资助
广西高等教育本科教学改革工程项目(2020JGA116,2017JGZ103)资助.
-
文摘
针对MOOCs平台上大规模主观题作业的同行互评问题,研究人员基于概率模型对评价者的可靠性和偏见进行建模,提出了许多估计主观题作业真实分数的有效技术.然而,现有技术均未同时考虑评价者在待评价作业中的答题表现以及评价者的历史答题表现这两方面因素对其可靠性的影响.鉴于此,提出了基于认知诊断的主观题同行互评技术:首先以评价者的历史答题记录为输入,基于流行的认知诊断模型量化评价者对主观题作业的掌握程度;其后同时基于评价者对主观题作业的掌握程度以及评价者在该主观题作业中取得的真实分数对评价者的可靠性建模;最后结合对评价者偏见的建模提出了估计主观题作业真实分数的同行互评概率模型.真实课堂实验表明,在同行互评活动中,本文提出的同行互评技术对主观题作业真实分数的估计更为准确,比相关技术在真实分数估计误差方面平均降低了42%.
-
关键词
同行互评
认知诊断
DINA模型
主观题
真实分数估计
-
Keywords
peer grading
cognitive diagnosis
DINA model
subjective question
true score estimation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
