表现性评价中评分者信度估计方法的比较研究——从相关法、百分比法到概化理论 被引量：46

1

作者 孙晓敏 张厚粲 《心理科学》 CSSCI CSCD 北大核心 2005年第3期646-649,共4页

随着素质教育的推进,表现性评价受到越来越多的重视。影响表现性评价结果信度的一个重要因素是评分者之间的不一致。文章使用模拟数据,在对比评分者一致性的相关法、一致性百分比法和概化系数等各种估计方法的基础上,提出概化理论在表... 随着素质教育的推进,表现性评价受到越来越多的重视。影响表现性评价结果信度的一个重要因素是评分者之间的不一致。文章使用模拟数据,在对比评分者一致性的相关法、一致性百分比法和概化系数等各种估计方法的基础上,提出概化理论在表现性评价中评分者信度问题上的应用是理论和实践发展的有益方向。 展开更多

关键词 表现性评价 评分者信度 估计方法 概化理论 百分比法 相关法 素质教育 重要因素 评价结果 实践发展 一致性 不一致

在线阅读 下载PDF 职称材料

评分者信度的分析方法简介及比较 被引量：15

2

作者 何佳 何惧 +1 位作者 席雁 徐超 《中国现代医生》 2007年第06X期76-77,共2页

在教育测量理论中,主观性试题的评分误差较大,本文对评判主观性试题评分方法的可信度进行了分析,比较其评分者信度的分析方法的优劣,从而得出不管是经典测量理论还是概化理论,任何一种都不能用其他简单方法代替。

关键词 主观性试题 评分方法 评分者信度 经典测量理论

在线阅读 下载PDF 职称材料

用结构方程建模(SEM)估计概化理论(GT)中的评分者信度 被引量：12

3

作者 严芳 李伟明 《心理学报》 CSSCI CSCD 北大核心 2002年第5期534-539,共6页

评分者的信度分析 ,已从经典测量理论的方法 (Kendall和谐系数 )发展为基于现代测量理论 (如GT)的方法 ,但由于GT中方差分量估计的工具和途径有限 ,使该方法的推广受到限制。本文介绍了结构方程建模 (SEM )估计GT中方差分量的必要性及原... 评分者的信度分析 ,已从经典测量理论的方法 (Kendall和谐系数 )发展为基于现代测量理论 (如GT)的方法 ,但由于GT中方差分量估计的工具和途径有限 ,使该方法的推广受到限制。本文介绍了结构方程建模 (SEM )估计GT中方差分量的必要性及原理 ,并通过对某省直国家机关公务员录用考试结构化面试的评分者信度分析 。 展开更多

关键词 评分者信度 结构方程建模 SEM 概化理论 GT 心理测验

在线阅读 下载PDF 职称材料

多评分者多任务情境下评分者信度的模型拟合研究 被引量：3

4

作者 李斌 辛涛 +1 位作者 张淑梅 孙佳楠 《湖南师范大学教育科学学报》 CSSCI 2011年第6期107-110,127,共5页

此研究以网上阅卷环境下多个评分者同时评阅翻译和作文为例,建立多个评分者完成多个任务的结构方程模型,对数据进行拟合,实现评分者信度的量化分析。通过五个结构方程模型比较,选择拟合效果较好的相关任务相关特性模型,计算多评分者多... 此研究以网上阅卷环境下多个评分者同时评阅翻译和作文为例,建立多个评分者完成多个任务的结构方程模型,对数据进行拟合,实现评分者信度的量化分析。通过五个结构方程模型比较,选择拟合效果较好的相关任务相关特性模型,计算多评分者多任务的评分者信度,并对同一评分者完成不同任务时评分者信度和同一评分任务下不同评分者的评分信度进行比较,实现对评分效果的评价,从而对评分者的选拔和有针对性培训提供科学支持。 展开更多

关键词 多评分者多任务 拟合优度 相关任务相关特性模型 评分者信度

在线阅读 下载PDF 职称材料

档案袋评价中评分者信度的实证研究 被引量：4

5

作者 赵群 曹亦薇 《应用心理学》 CSSCI 2006年第3期258-263,共6页

档案袋评价因能充分发挥促进学生发展和教学改进的功能而受到青睐,但不佳的测评信度和效度限制了其在教学评价中的应用。本文对档案袋评分者信度的特点进行实证研究,4位评分者对152份档案袋进行了2次等级评分,运用多种统计方法计算评分... 档案袋评价因能充分发挥促进学生发展和教学改进的功能而受到青睐,但不佳的测评信度和效度限制了其在教学评价中的应用。本文对档案袋评分者信度的特点进行实证研究,4位评分者对152份档案袋进行了2次等级评分,运用多种统计方法计算评分者信度。结果表明,档案袋的评分有较高的关联性、中等偏弱的一致性和一定的稳定性,对档案袋整体水平的评分信度最高。本研究中,评分者个数为3时,对档案袋整体水平评分的概化系数和可靠性系数都在0.80以上。 展开更多

关键词 档案袋评价 评分者信度 概化系数 可靠性系数

在线阅读 下载PDF 职称材料

心血管内科专科医师考试面试评分者信度的概化理论研究 被引量：1

6

作者 卢燕 张颖 +1 位作者 王钢 张泉慧 《中国高等医学教育》 2013年第12期19-19,84,共2页

目的:评估心血管内科专科医师考试面试部分的评分者的内部信度。方法:采用概化理论对心血管内科专科医师考试面试部分考生分数进行了方差来源的分解评估。结果:21组考官组的可靠性指数为0.9135。结论:考试整体的评分者信度较高。

关键词 概化理论 评分者信度 可靠性指数

在线阅读 下载PDF 职称材料

评分者信度测量在护理研究中的应用 被引量：11

7

作者 史润泽 李永刚 康晓凤 《护理学杂志》 CSCD 2017年第19期110-112,F0003,共4页

评分者信度作为常用测量评价指标之一,有助于控制测量误差,提高主观变量测量的精确性,在护理研究中被广泛应用。本文对评分者信度测量的概念进行澄清,介绍常用的基于经典测量理论的几种评分者信度测量方法,如Pearson积差相关、Cronbach... 评分者信度作为常用测量评价指标之一,有助于控制测量误差,提高主观变量测量的精确性,在护理研究中被广泛应用。本文对评分者信度测量的概念进行澄清,介绍常用的基于经典测量理论的几种评分者信度测量方法,如Pearson积差相关、Cronbach′sα系数、Spearman相关、组内相关系数(ICC)、Kappa系数、Kendall和谐系数,并对评分者信度测量的应用及影响因素进行分析,以期为护理人员在科学研究中正确应用评分者信度测量提供参考依据。 展开更多

关键词 评分者信度 测量评价 护理研究 主观性测量 影响因素 综述文献

在线阅读 下载PDF 职称材料

职业能力测评中评分者信度FINN系数与ICC的计算与MATLAB实现 被引量：5

8

作者 钟韬 魏庆曜 《西南民族大学学报（自然科学版）》 CAS 2015年第4期489-493,共5页

对FINN系数与组内相关系数ICC进行研究和分析,详细介绍了FINN系数与组内相关系数ICC的数学原理与计算方法.将FINN系数与组内相关系数应用于职业能力测评,结果显示FINN系数更能得到较好的信度值.而ICC更依赖评分点平均值的方差,在职业能... 对FINN系数与组内相关系数ICC进行研究和分析,详细介绍了FINN系数与组内相关系数ICC的数学原理与计算方法.将FINN系数与组内相关系数应用于职业能力测评,结果显示FINN系数更能得到较好的信度值.而ICC更依赖评分点平均值的方差,在职业能力测评中容易得到较低的信度值,从而测量不出重要的信度.文章例解了FINN系数与组内相关系数ICC的MATLAB计算程序. 展开更多

关键词 FINN系数 组内相关系数ICC 评分者信度

在线阅读 下载PDF 职称材料

基于CTT、GT、IRT的评分者信度研究——以某届奥运会女子跳水决赛为例 被引量：2

9

作者 钟晓玲 康春花 陈婧 《考试研究》 2013年第5期41-52,共12页

本文以某届国际奥林匹克运动会女子跳水决赛为例,综合应用CTT、GT和IRT三大测量理论进行评分者信度分析,从不同角度揭示评分者之间和评分者内部的差异情况。结果表明:CTT的评分者信度分别为0.981和078;GT的概化系数和可靠性指数分别为0.... 本文以某届国际奥林匹克运动会女子跳水决赛为例,综合应用CTT、GT和IRT三大测量理论进行评分者信度分析,从不同角度揭示评分者之间和评分者内部的差异情况。结果表明:CTT的评分者信度分别为0.981和078;GT的概化系数和可靠性指数分别为0.8279和0.8271,比赛中所采用的7名评委分别对选手在5轮上的跳水表现进行评定的决策是比较适宜的决策;在IRT中,相对而言,评委5在7名评委中最为严厉,评委2最为宽松,但评委之间在宽严程度上的差异不显著,评委1和评委4在自身一致性上存在问题,不同评委在评定不同选手、不同难度系数动作和不同轮数上存在偏差,但未达到显著性水平。基于本文的分析,可以了解三种评分者信度分析方法的特点及各自优势,为评分者培训和提高评分信度提供有用信息。 展开更多

关键词 评分者信度 经典测量理论 概化理论 多面RASCH模型 跳水决赛

在线阅读 下载PDF 职称材料

对评分者信度检验中零假设的更正 被引量：5

10

作者 胡咏梅 《学科教育》 北大核心 2001年第11期37-41,共5页

我们通常采用Friedman双向秩次方差分析和Kendall和谐系数检验法来进行评分者信度检验。在绝大多数书籍中 ,此检验的零假设都被设置成“H0 :m个评分者对n个被评对象的评分是一致的”。但是 ,这一零假设是错误的 。

关键词 评分者信度 零假设 Friedman双向秩次方差分析 Kendall和谐系数 教育评价

在线阅读 下载PDF 职称材料

中学理科实验操作考查的评分者效应和评分者信度——基于多面Rasch模型的分析

11

作者 麦裕华 黎光明 钱扬义 《教育测量与评价》 2020年第11期56-64,共9页

中学理科课程的实验操作考查是典型的表现性评价,主要评估学生完成理科常见实验的基本实验操作能力。为提高评分质量,优化实验操作考查的组织管理,以初三化学实验操作考查常见试题为例,应用多面Rasch模型探讨评分者效应和评分者信度。... 中学理科课程的实验操作考查是典型的表现性评价,主要评估学生完成理科常见实验的基本实验操作能力。为提高评分质量,优化实验操作考查的组织管理,以初三化学实验操作考查常见试题为例,应用多面Rasch模型探讨评分者效应和评分者信度。研究发现:(1)评分者不存在群体上的宽严效应、趋中效应、光环效应及区分性宽严效应,但表现出一定的随机效应,在同时考虑多侧面时有较弱的区分性宽严效应;(2)有可接受的评分者间信度和良好的评分者内信度;(3)与监考4位、6位考生相比,评分者监考2位考生时,较低评分者间信度出现的比例最大。建议在实施实验操作考查时,组织系统的考前评分实践培训,增加评分者对评分内容和过程,尤其是对不同类型评分者效应的一致性理解,提高个人准确评分的能力;可将多面Rasch模型作为评分质量控制的分析方法,用于评分结果的事后检查。 展开更多

关键词 实验操作考查 评分者效应 评分者信度 多面RASCH模型 表现性评价

在线阅读 下载PDF 职称材料

文件筐测验中评分者信度的误差分析 被引量：1

12

作者 徐蕊 宋华淼 +3 位作者 苗丹民 杨秋莉 胡炜 靳文明 《中国行为医学科学》 CSCD 2008年第12期1133-1134,共2页

目的探讨文件筐测验中评分者信度的影响因素。方法培训程度不同的2组评分者采用2种方法对代表2个复杂程度不同的能力试题评分，运用概化理论分析评分者信度差异。结果复杂能力用分析法较好（p、r、pr变异分量估计值为0．743，0．014，0... 目的探讨文件筐测验中评分者信度的影响因素。方法培训程度不同的2组评分者采用2种方法对代表2个复杂程度不同的能力试题评分，运用概化理论分析评分者信度差异。结果复杂能力用分析法较好（p、r、pr变异分量估计值为0．743，0．014，0．395）；用分析法评价复杂能力时，低培训组的评分（Ep25=0．8519，Ф5=0．8519）最接近高培训组的评分（E025=0．9039，Ф5：0．9010）。结论方法因素与评估内容的交互作用对评分者信度有影响。 展开更多

关键词 评分者信度 影响因素 概化理论

原文传递

相关法计算评分者信度应注意的问题

13

作者 饶乐三 《上海教育科研》 北大核心 1992年第1期65-66,共2页

一、问题的提出论文性试题的评分存在误差,这是由评分者的主观原因造成的。考察评分误差的方法常常是计算评分之间的相关度,从而估计评分误差对信度的影响,称为评分者信度。计算评分者信度一般有两种情况,一种是由两位评分者给许多被试... 一、问题的提出论文性试题的评分存在误差,这是由评分者的主观原因造成的。考察评分误差的方法常常是计算评分之间的相关度,从而估计评分误差对信度的影响,称为评分者信度。计算评分者信度一般有两种情况,一种是由两位评分者给许多被试评分,或一位教师给许多被试评两次分数,计算两次分数之间的相关系数;另一种是许多位评分者给许多被试评分,或一位教师反复多次给许多被试评分,计算肯德尔和谐系数。肯德尔和谐系数实际就是多列变量间的等级相关系数。 展开更多

关键词 评分者信度 肯德尔和谐系数 被试 等级相关系数 相关法 衡量尺度 主观理解 固定偏差 效度 表极

原文传递

证实性因子分析在量表信度中的应用研究 被引量：6

14

作者 陈炳为 许碧云 +1 位作者 倪宗瓒 杨惠芳 《中国卫生统计》 CSCD 北大核心 2005年第4期261-263,共3页

关键词 证实性因子分析 量表信度 重测信度 复本信度 评分者信度 卫生统计

在线阅读 下载PDF 职称材料

无领导小组讨论技术实施中的信度与效度问题研究 被引量：4

15

作者 苏永华 柴雪 丁玉洋 《人类工效学》 1998年第2期29-31,共3页

通过来自湖北省省直机关１９９７年公务员考试中的７个单位的１２７名被试，研究无领导小组讨论（ＬＧＤ）的论题、评分标准、实施程序的统一制定，分单位独立实施。７个评分小组（每组９个评委）中评分者信度的Ｗ系数在０．４２到０．... 通过来自湖北省省直机关１９９７年公务员考试中的７个单位的１２７名被试，研究无领导小组讨论（ＬＧＤ）的论题、评分标准、实施程序的统一制定，分单位独立实施。７个评分小组（每组９个评委）中评分者信度的Ｗ系数在０．４２到０．７１之间，表明在总体上评分者间有较高一致性，但也存在着一定的差异。ＬＧＤ成绩与个体面试成绩、命题演讲成绩、面试总分之间具有较高的相关系数。 展开更多

关键词 LGD 评分者信度 效度检验

在线阅读 下载PDF 职称材料

面试中的评分者贡献度指数及其应用 被引量：1

16

作者 杨志明 王雯 +1 位作者 丁港 徐庆树 《教育测量与评价》 2021年第10期3-7,共5页

面试是过程评价和综合评价特别是高水平大学选拔拔尖创新人才的重要手段。但目前常用的面试质量评价方法,如评分者信度或概化系数估计方法,并不能快捷评估每个评分者的工作表现,影响了面试的质量。借助经典测验理论和概化理论,通过逐一... 面试是过程评价和综合评价特别是高水平大学选拔拔尖创新人才的重要手段。但目前常用的面试质量评价方法,如评分者信度或概化系数估计方法,并不能快捷评估每个评分者的工作表现,影响了面试的质量。借助经典测验理论和概化理论,通过逐一核查各评分者评分信息缺失条件下的信度估计值变化情况,构造了一个评分者贡献度指数,并举例展示其使用方法和注意事项,为实时监控评分者的表现、保障和提高面试质量提供了新的方法。 展开更多

关键词 面试 评分者信度 评分者贡献度 教育评价

在线阅读 下载PDF 职称材料

得到评委青睐的教学设计长什么样子?——以武陵山片区某省属高校年度教学竞赛的评分结果为例

17

作者 罗德红 吴守卫 《教育进展》 2022年第12期5653-5663,共11页

师范生教学技能竞赛中的教学设计文本是评委和指导教师教学设计知识的外化,评委所青睐的文本“样子”不代表正确的“样子”,竞赛主办方应加强对指导教师和评委的培训,使他们在尊重学科与专业差异中形成共识性教学设计知识。本研究以某... 师范生教学技能竞赛中的教学设计文本是评委和指导教师教学设计知识的外化,评委所青睐的文本“样子”不代表正确的“样子”,竞赛主办方应加强对指导教师和评委的培训,使他们在尊重学科与专业差异中形成共识性教学设计知识。本研究以某高校年度教学竞赛的教学设计文本为分析对象,共7位评委的评分者系数在0.8以上,对他们评分文本的分析显示,评委高赋值的文本大致存在以下问题:违反教学目标的AB格式,混淆情感目标与认知目标,缺乏感知教材和巩固知识环节,设计意图指向教师的教学意图而非教学目标的实现。 展开更多

关键词 师范生教学技能竞赛 教学设计文本 教学设计知识 评分者信度 武陵山片区

在线阅读 下载PDF 职称材料

青少年科学创造力测验的编制 被引量：26

18

作者 申继亮 胡卫平 林崇德 《心理发展与教育》 CSSCI 北大核心 2002年第4期76-81,共6页

基于科学创造力的结构模型、青少年科学创造力的表现及托兰斯的创造性测验 ,编制了青少年科学创造力测验 ,并用该测验施测于英国的 10 87名中学生和中国的 10 87名中学生 ,结果表明 :(1)《青少年科学创造力测验》具有较高的信度 ,Cronb... 基于科学创造力的结构模型、青少年科学创造力的表现及托兰斯的创造性测验 ,编制了青少年科学创造力测验 ,并用该测验施测于英国的 10 87名中学生和中国的 10 87名中学生 ,结果表明 :(1)《青少年科学创造力测验》具有较高的信度 ,Cronbachα系数、评分者信度、重测信度均达到心理测验学要求的水平 ;(2 )《青少年科学创造力测验》 展开更多

关键词 青少年 科学创造力 心理测试 Cronbacha系数 重测信度 评分者信度

在线阅读 下载PDF 职称材料

慢性乙型肝炎症状信息采集表的制定与一致性研究 被引量：4

19

作者 于春光 王天芳 +6 位作者 张秋云 朱清静 梁瑞敏 卢秉久 张永 殷鑫 王庆国 《中医杂志》 CSCD 北大核心 2007年第5期443-445,共3页

目的检测慢性乙型肝炎症状信息采集表的一致性并完善采集表。方法采用由两名经过培训的医师分别对同一名患者进行信息采集的评分者信度法,对全国6个中心选择连续就诊的门诊或住院患者进行信息采集并填表,应用Spearman相关系数评价两名... 目的检测慢性乙型肝炎症状信息采集表的一致性并完善采集表。方法采用由两名经过培训的医师分别对同一名患者进行信息采集的评分者信度法,对全国6个中心选择连续就诊的门诊或住院患者进行信息采集并填表,应用Spearman相关系数评价两名医师对每个症状评分的相关性。结果应用评分者信度法可以考察各中心的调查质量情况;采集表中多数症状的相关系数值符合要求。结论应用此方法能够对制定的采集表的一致性进行评价;所制定的采集表可以用于慢性乙型肝炎的证候研究。 展开更多

关键词 慢性乙型肝炎 症状信息采集表 评分者信度

在线阅读 下载PDF 职称材料

地铁行车调度系统人误行为识别方法研究 被引量：2

20

作者 王洁 方卫宁 +1 位作者 苗冲冲 赵灿灿 《中国安全科学学报》 CAS CSCD 北大核心 2014年第4期62-68,共7页

为预防地铁行车调度系统的人因事故,根据地铁行车调度系统的任务特点,建立识别突发事件处理中行车调度员失误行为的方法。基于Wickens的人的信息处理模型,建立行车调度员人误模式分类框架,定义人误行为类型的失误等级,并改进传统的层次... 为预防地铁行车调度系统的人因事故,根据地铁行车调度系统的任务特点,建立识别突发事件处理中行车调度员失误行为的方法。基于Wickens的人的信息处理模型,建立行车调度员人误模式分类框架,定义人误行为类型的失误等级,并改进传统的层次任务分析方法,最终构建结构化的人误行为识别方法。结果表明:突发事件的数量与人误行为的类型存在关联性,且人误行为类型失误等级与其关联度值的变化趋势一致;评分者信度检验的平均的指标一致性均大于70%,表明所建立的人误行为识别方法可行有效。 展开更多

关键词 人误行为识别方法 地铁行车调度系统 人误模式 灰色关联度 评分者信度

在线阅读 下载PDF 职称材料