认知诊断计算机化自适应测验的题库使用均匀性初探 被引量：18

1

作者 陈平 李珍 辛涛 《心理与行为研究》 CSSCI 2011年第2期125-132,153,共9页

项目曝光控制是认知诊断计算机化自适应测验(CD-CAT)中亟需解决的重要问题之一。采用蒙特卡洛模拟方法对CD-CAT中五种常用选题策略(随机化方法、KL信息量方法、香农熵方法、后验加权的KL信息量方法和综合后验加权和距离加权的KL信息量方... 项目曝光控制是认知诊断计算机化自适应测验(CD-CAT)中亟需解决的重要问题之一。采用蒙特卡洛模拟方法对CD-CAT中五种常用选题策略(随机化方法、KL信息量方法、香农熵方法、后验加权的KL信息量方法和综合后验加权和距离加权的KL信息量方法)的题库使用情况进行探讨。结果发现:四种非随机化选题策略的题库使用均匀性较差、测验重叠率高,从而导致测验安全性较差;香农熵方法的判准率总是最高。今后可以将传统CAT中的项目曝光控制技术融入到CD-CAT选题策略中。 展开更多

关键词 认知诊断计算机化自适应测验(cd—ca T) 选题策略 题库使用均匀性.

在线阅读 下载PDF 职称材料

认知诊断计算机化自适应测验中新的选题策略:结合项目区分度指标 被引量：14

2

作者 郭磊 郑蝉金 +2 位作者 边玉芳 宋乃庆 夏凌翔 《心理学报》 CSSCI CSCD 北大核心 2016年第7期903-914,共12页

当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结... 当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结合认知诊断中的项目区分度信息,对PWKL进行修正,提出了4种新的多源选题策略:GIDPWKL、AIDPWKL、CIDPWKL和KLEDPWKL方法,并在加入曝光控制下与PWKL和互信息法(MIM)进行比较。模拟研究结果表明:(1)在定长测验情景下的绝大多数实验结果表明,测验长度越短,新方法的判准率越高。平均属性/模式判准率最高的是GIDPWKL,之后是AIDPWKL,而CIDPWKL、KLEDPWKL和MIM方法的优势随实验条件不同而不同。(2)在定长测验情景下的绝大多数实验结果表明,题目质量越高,新方法的优势越明显。(3)Q矩阵结构的复杂性会影响不同选题策略的表现。(4)在变长测验情景下,4种新方法和MIM的平均测验长度均要低于PWKL方法,表现最好的是GIDPWKL方法。因此,若实际测验情景与本研究的模拟情景相似,推荐GIDPWKL方法。 展开更多

关键词 认知诊断计算机化自适应测验 选题策略 项目区分度 曝光控制

在线阅读 下载PDF 职称材料

基于属性掌握概率的认知诊断计算机化自适应测验选题策略 被引量：15

3

作者 罗照盛 喻晓锋 +4 位作者 高椿雷 李喻骏 彭亚风 王睿 王钰彤 《心理学报》 CSSCI CSCD 北大核心 2015年第5期679-688,共10页

在认知诊断计算机化自适应测验(CD-CAT)中,被试对每个属性的掌握概率更直接地反映了被试能力的当前估计值。因此,基于被试的属性掌握概率来构建选题策略,选择最能改变被试属性掌握概率的题目作为下一个测验项目,这应该是一个值得尝试的... 在认知诊断计算机化自适应测验(CD-CAT)中,被试对每个属性的掌握概率更直接地反映了被试能力的当前估计值。因此,基于被试的属性掌握概率来构建选题策略,选择最能改变被试属性掌握概率的题目作为下一个测验项目,这应该是一个值得尝试的方案。本文借鉴已有相关研究的数据生成模式进行探索,模拟实验结果表明:假设属性间相互独立,在定长(长度为16)、变长(长度为16或后验属性掌握模式概率达到0.8)以及短测验(长度分别为4、6、8、10)的情况下,基于属性掌握概率的选题策略PPWKL和PHKL有较好的分类准确率,在题目曝光率,题库使用均匀性等方面也有较好的表现;与研究较多的PWKL、HKL等策略相比,也略有优势;当属性间存在不同程度的相关时,在定长、变长以及较短的测验条件下,基于PHKL和MI的测验对知识状态估计精度较好,基于PPWKL和PHKL的测验综合表现占优。 展开更多

关键词 认知诊断计算机化自适应测验 选题策略 属性掌握概率 属性掌握模式

在线阅读 下载PDF 职称材料

计算机化自适应测验在认知诊断中的应用 被引量：15

4

作者 唐小娟 丁树良 俞宗火 《心理科学进展》 CSSCI CSCD 北大核心 2012年第4期616-626,共11页

作为认知诊断与计算机化自适应测验相结合的产物,认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing,CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题,也有在认知诊断中遇到的特殊问... 作为认知诊断与计算机化自适应测验相结合的产物,认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing,CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题,也有在认知诊断中遇到的特殊问题:由于认知诊断中涉及属性这一概念,CD-CAT与传统CAT有很大的差别。本文紧紧围绕属性引起的差异,分别从认知诊断模型、题库建设、起始规则、选题策略、被试知识状态估计和终止规则等几部分详细介绍CD-CAT的研究进展和存在的问题。 展开更多

关键词 认知诊断 计算机化自适应测验 认知诊断计算机化自适应测验 属性 知识状态

在线阅读 下载PDF 职称材料

认知诊断计算机化自适应测验中在线标定方法的开发 被引量：28

5

作者 陈平 辛涛 《心理学报》 CSSCI CSCD 北大核心 2011年第6期710-724,共15页

项目增补对认知诊断计算机化自适应测验(CD-CAT)中的题库维护至关重要。在传统CAT中,在线标定方法经常用于估计新题的项目参数。然而直到现在,在CD-CAT领域还没有任何关于在线标定的论文公开发表。为将传统CAT中3种有代表性的在线标定方... 项目增补对认知诊断计算机化自适应测验(CD-CAT)中的题库维护至关重要。在传统CAT中,在线标定方法经常用于估计新题的项目参数。然而直到现在,在CD-CAT领域还没有任何关于在线标定的论文公开发表。为将传统CAT中3种有代表性的在线标定方法(MethodA、OEM和MEM)推广至CD-CAT(CD-MethodA、CD-OEM和CD-MEM)建立分析基础,并采用模拟方法对这3种方法进行比较。研究表明:CD-MethodA方法在项目参数的返真性方面优于其它两种方法;自适应标定设计较随机标定设计可以提高项目参数的返真质量。 展开更多

关键词 计算机化自适应测验 认知诊断 在线标定 旧题 新题

在线阅读 下载PDF 职称材料

认知诊断计算机化自适应测验中的项目增补 被引量：27

6

作者 陈平 辛涛 《心理学报》 CSSCI CSCD 北大核心 2011年第7期836-850,共15页

项目的增补对认知诊断计算机化自适应测验(CD-CAT)题库的开发与维护至关重要。借鉴单维项目反应理论(IRT)中联合极大似然估计方法(JMLE)的思路,提出联合估计算法(JEA),仅依赖被试在旧题和新题上的作答反应联合地、自动地估计新题的属性... 项目的增补对认知诊断计算机化自适应测验(CD-CAT)题库的开发与维护至关重要。借鉴单维项目反应理论(IRT)中联合极大似然估计方法(JMLE)的思路,提出联合估计算法(JEA),仅依赖被试在旧题和新题上的作答反应联合地、自动地估计新题的属性向量和新题的项目参数。研究结果表明:当项目参数相对较小且样本量相对较大时,JEA算法在新题属性向量和新题项目参数估计精度方面表现不错;而且样本大小、项目参数大小以及项目参数初值都影响着JEA算法的表现。 展开更多

关键词 认知诊断计算机化自适应测验 项目增补 在线标定 属性自动标识 新题

在线阅读 下载PDF 职称材料

具有认知诊断功能的计算机化自适应测验的研究与实现 被引量：21

7

作者 林海菁 丁树良 《心理学报》 CSSCI CSCD 北大核心 2007年第4期747-753,共7页

构造具有认知诊断功能的计算机化自适应测验(Computerized Adaptive Testing,CAT),关键在于设计不同于传统CAT的选题策略。本文采用先认知诊断后估计能力的方法,在诊断阶段用状态转换图描述特定认知领域中所有知识状态及这些状态之间的... 构造具有认知诊断功能的计算机化自适应测验(Computerized Adaptive Testing,CAT),关键在于设计不同于传统CAT的选题策略。本文采用先认知诊断后估计能力的方法,在诊断阶段用状态转换图描述特定认知领域中所有知识状态及这些状态之间的联系,以图的深度优先搜索方法为基础设计选题策略;而在能力估计精细化阶段,每个被试所测项目,不仅与其能力估计值相匹配,且只与其所掌握的属性相关。本文采用蒙特卡罗模拟针对三种不同的属性结构进行试验,结果良好。 展开更多

关键词 认知诊断 计算机化自适应测验 选题策略 状态转换图.

在线阅读 下载PDF 职称材料

认知诊断计算机化自适应测验的选题策略 被引量：3

8

作者 唐倩 毛秀珍 +1 位作者 何明霜 何洁 《心理科学进展》 CSSCI CSCD 北大核心 2020年第12期2160-2168,共9页

随着认知诊断计算机化自适应测验(cognitive diagnostic computerized adaptive testing,CD-CAT)理论与实践的发展,兼顾知识状态与能力的双目标CD-CAT逐渐受到重视。选题策略是CAT的核心,通过梳理传统CD-CAT和双目标CD-CAT选题策略的研... 随着认知诊断计算机化自适应测验(cognitive diagnostic computerized adaptive testing,CD-CAT)理论与实践的发展,兼顾知识状态与能力的双目标CD-CAT逐渐受到重视。选题策略是CAT的核心,通过梳理传统CD-CAT和双目标CD-CAT选题策略的研究,并对它们的特点、关系及表现进行介绍和评析。最后,基于认知诊断模型与CAT实践发展指出未来应加强一般化认知模型、复杂测验条件认知诊断模型下选题策略的研究;应开发双目标诊断测验的项目和测验特征指标;还应加强非参数选题方法和CD-CAT的实践应用研究。 展开更多

关键词 计算机化自适应测验 认知诊断模型 选题策略 测量精度 非统计约束

在线阅读 下载PDF 职称材料

在线标定技术在计算机化自适应测验中的应用 被引量：9

9

作者 陈平 张佳慧 辛涛 《心理科学进展》 CSSCI CSCD 北大核心 2013年第10期1883-1892,共10页

计算机化自适应测验(Computerized Adaptive Testing,CAT)近年来得到迅猛发展,题目增补对CAT的题库建设与维护至关重要。新题标定作为题目增补过程中的技术难点,它的精度直接影响被试能力估计的准确性,目前在线标定技术经常用于标定新... 计算机化自适应测验(Computerized Adaptive Testing,CAT)近年来得到迅猛发展,题目增补对CAT的题库建设与维护至关重要。新题标定作为题目增补过程中的技术难点,它的精度直接影响被试能力估计的准确性,目前在线标定技术经常用于标定新题。从在线标定设计和在线标定方法两个方面,对两类CATs(以项目反应理论为基础的传统CAT以及以认知诊断理论为基础的认知诊断CAT(Cognitive Diagnostic CAT,CD-CAT))中的在线标定相关研究进行述评。传统CAT领域有着较丰富的研究,而CD-CAT的在线标定研究则刚刚起步。未来研究应进一步探讨在线标定设计/方法之间的比较与结合,以及CD-CAT和多维CAT的在线标定研究。 展开更多

关键词 在线标定 计算机化自适应测验 题库建设 认知诊断计算机化自适应测验

在线阅读 下载PDF 职称材料

认知诊断CAT中项目曝光控制方法的比较 被引量：12

10

作者 毛秀珍 辛涛 《心理学报》 CSSCI CSCD 北大核心 2013年第6期694-703,共10页

项目曝光率关系到题库建设和测验安全,是计算机化自适应测验(Computerized Adaptive Testing,CAT)需要考虑的重要问题。在认知诊断CAT情形下,首先基于传统CAT中a-分层方法的思想提出按项目信息量对题库分层的分层多阶段(Stratified Mult... 项目曝光率关系到题库建设和测验安全,是计算机化自适应测验(Computerized Adaptive Testing,CAT)需要考虑的重要问题。在认知诊断CAT情形下,首先基于传统CAT中a-分层方法的思想提出按项目信息量对题库分层的分层多阶段(Stratified Multistage,SM)选题方法;然后将SM方法与项目合格(ItemEligibility,IE)方法相结合得到SMIE方法。在此基础上,开展模拟研究比较SM、IE、SMIE、最大修正优先指标(Maximum Modified Priority Index,MMPI)方法、限制阈值(Restrictive Threshold,RT)方法和限制进度(Restrictive Progressive,RPG)方法的选题表现。总体上,它们的测量精度从高到低依次为IE、SM、SMIE、RT、RPG和MMPI方法;项目曝光分布均匀性的优劣次序为MMPI、RPG、SMIE、RT、SM和IE方法;SMIE和RT方法能较好地平衡测量精度和项目曝光均匀性要求。 展开更多

关键词 认知诊断计算机化自适应测验 选题方法 测量精度 项目曝光率

在线阅读 下载PDF 职称材料

认知诊断CAT中具有非统计约束选题方法的比较 被引量：4

11

作者 毛秀珍 辛涛 《心理学报》 CSSCI CSCD 北大核心 2014年第12期1910-1922,共13页

项目曝光控制和内容约束关系到测验安全、测验的信度和效度,是计算机化自适应测验(Computerized Adaptive Testing,CAT)中两类重要的非统计约束条件。本文在认知诊断CAT中针对内容约束和项目曝光控制要求,运用5种方法选择测验项目。它... 项目曝光控制和内容约束关系到测验安全、测验的信度和效度,是计算机化自适应测验(Computerized Adaptive Testing,CAT)中两类重要的非统计约束条件。本文在认知诊断CAT中针对内容约束和项目曝光控制要求,运用5种方法选择测验项目。它们分别是:(1)Monte Carlo方法与项目合格方法相结合,记为MC-IE;(2)Monte Carlo方法与最大优先指标方法相结合,记为MC-MPI;(3)Monte Carlo方法与限制阈值方法相结合,记为MC-RT;(4)Monte Carlo方法与限制进度指标方法相结合,记为MC-RPG以及(5)Monte Carlo方法与最大后验概率方法相结合,记为MC-PP。然后通过在线性、收敛、发散、无结构和独立五种属性结构下构建题库并运用重参化融融统和模型模拟被试反应比较它们的选题表现。研究发现,(1)相同选题方法在不同属性结构下项目曝光率的分布类似,测量精度按线性、收敛、发散、无结构和独立结构的顺序依次降低;(2)相同属性结构下,不同方法的测量精度高低依次为MC-PP、MC-IE、MC-RT、MC-MPI和MC-RPG方法;项目曝光均匀性优劣依次为MC-RPG、MC-MPI、MC-RT、MC-IE和MC-PP方法。统一量纲值表明,MC-RPG方法的综合表现最好,MC-MPI方法的表现次之。 展开更多

关键词 认知诊断理论 计算机化自适应测验 测量精度 项目曝光率 内容约束

在线阅读 下载PDF 职称材料

CD-CAT中基于SCAD惩罚和EM视角的在线标定方法开发——G-DINA模型

12

作者 谭青蓉 蔡艳 +2 位作者 汪大勋 罗芬 涂冬波 《心理学报》 CSSCI CSCD 北大核心 2024年第5期670-688,I0005-I0007,共22页

G-DINA(the generalizeddeterministic input,noisy and gate)模型限制条件少,应用范围广,满足大量心理与教育评估测验数据的要求。研究提出一种适用于G-DINA等模型的同时标定新题Q矩阵与项目参数的认知诊断计算机化自适应测验(CD-CAT)... G-DINA(the generalizeddeterministic input,noisy and gate)模型限制条件少,应用范围广,满足大量心理与教育评估测验数据的要求。研究提出一种适用于G-DINA等模型的同时标定新题Q矩阵与项目参数的认知诊断计算机化自适应测验(CD-CAT)在线标定新方法SCADOCM,以期促进CD-CAT在实践中的推广与应用。本研究分别基于模拟题库以及真实题库进行研究,结果表明:相比传统的SIE方法,SCADOCM在各实验条件下均具有较为理想的标定精度与标定效率,应用前景较好;SIE方法不适用于饱和的G-DINA等模型,其各实验条件下的Q矩阵标定精度均较低。 展开更多

关键词 认知诊断计算机化自适应测验 在线标定 Q矩阵 G-DINA模型 ScaD惩罚

在线阅读 下载PDF 职称材料

变长CD-CAT中的曝光控制与终止规则 被引量：18

13

作者 郭磊 郑蝉金 边玉芳 《心理学报》 CSSCI CSCD 北大核心 2015年第1期129-140,共12页

本研究借鉴传统计算机化自适应测验的思想,并结合认知诊断的特点,在认知诊断框架下提出了4种变长CD-CAT的终止规则,分别是属性标准误法(SEA)、邻近后验概率之差法(DAPP)、二等分法(HA)以及混合法(HM)。在未控制曝光和采用不同曝光控制... 本研究借鉴传统计算机化自适应测验的思想,并结合认知诊断的特点,在认知诊断框架下提出了4种变长CD-CAT的终止规则,分别是属性标准误法(SEA)、邻近后验概率之差法(DAPP)、二等分法(HA)以及混合法(HM)。在未控制曝光和采用不同曝光控制条件下,与HSU法及KL法进行了比较。研究结果表明:(1)终止条件越严格,平均测验长度越长,按测验长度最大值终止的测验百分比越大,模式判准率越高。(2)当未加入曝光控制时,4种新的终止规则均有较好表现,与HSU法十分接近。随着最大后验概率预设值的增加或?的减小,模式判准率呈上升趋势,平均测验长度逐渐增加,但在题库使用率方面均较差。(3)当加入项目曝光控制时,6种变长终止规则下的题库使用率有了极大的提升,仍能保持较高的模式判准率,并且不同的曝光控制方法对终止规则的影响是不同的。其中,相对标准终止规则极易受到曝光控制方法的影响。(4)综合来看,SEA、HM以及HA法在各项指标上的表现与HSU法基本一致,其次为KL法和DAPP法。 展开更多

关键词 认知诊断计算机化自适应测验 变长终止规则 曝光控制 判准率 DINA模型

在线阅读 下载PDF 职称材料

基于CAT的在线标定:设计与方法 被引量：1

14

作者 张雪琴 毛秀珍 李佳 《心理科学进展》 CSSCI CSCD 北大核心 2020年第11期1970-1978,共9页

项目增补是题库建设和维护的重要手段,而标定新题参数是项目增补的重要内容。在线标定设计和在线标定方法分别研究新题的施测方式和参数估计方法,是计算机化自适应测验(computerized adaptive testing,CAT)情景下项目增补的核心技术。... 项目增补是题库建设和维护的重要手段,而标定新题参数是项目增补的重要内容。在线标定设计和在线标定方法分别研究新题的施测方式和参数估计方法,是计算机化自适应测验(computerized adaptive testing,CAT)情景下项目增补的核心技术。重点厘清在线标定设计与在线标定方法的发展思路和脉络,并对它们的特点、联系和表现进行介绍和评价。未来应基于其他信息指标进一步研究在线标定设计,可基于联合估计和误差校正的思路探究在线标定方法,应加强研究认知诊断CAT和多维CAT的在线标定技术,深入开展项目增补方法的实证研究。 展开更多

关键词 计算机化自适应测验 认知诊断理论 项目增补 在线标定设计 在线标定方法

在线阅读 下载PDF 职称材料