作者：埃克哈德•克里默    胡咏梅    彭湃

 

【摘要】学生能力大规模国际测评项目（ILSA）可以为参与国提供持续监测教育系统运行以及评价教育系统有效性的基础数据。基于大规模测评项目数据挖掘而进行的教育效能研究（EER）的基本模型CIPO（背景—投入—过程—产出）是由国际教育成就评价协会（IEA）用于ILSA设计，后被许多学者改进。克里默等人提出了测评EER中最重要的元素——教学质量的三维结构：结构化的课堂教学管理、支持性的班级氛围和富有挑战性的认知激活。这一结构框架的科学性和可行性被不少学者开展的EER经验研究所证实。尽管ILSA数据分析能够有助于增进对学校效能和教育发展政策的理解，但仍存在着因缺乏追踪数据而难以做出因果推断的局限性。因此，纵向研究设计成为大规模教育测评项目的发展趋势。

随着信息技术、统计分析方法和计量软件的迅速发展，世界已进入大数据时代，数据挖掘作为继实验、推理、计算之后科学研究范式的又一次变革，正在影响人们的思维方式。基于数据证据的研究与决策，已经成为国际教育研究与教育决策的基本趋势。随着学生能力国际评价项目（以下简称PISA）、国际数学与科学研究趋势项目（以下简称TIMSS）、学生阅读素养进展国际测评项目（以下简称PIRLS）等学生能力大规模测评（以下简称ILSA）国际项目的开展以及越来越多的国家和地区参加这些ILSA项目，大规模测评项目数据逐渐被各国教育研究者所关注和使用，以开展教育效能和学校改进等方面的研究。本文旨在厘清ILSA项目指标设计的思路，阐释其在教育效能研究中的作用，分析教育效能研究的理论模型和方法及ILSA项目设计在教育效能研究中的局限。

一、学生能力大规模测评项目的指标设计及其在教育效能研究中的作用

ILSA项目设计了一种监测教育系统的运行及生产率的框架结构，同时，它也可被用于评估教育系统的有效性，即将教育系统看成一种“生产”系统，考察教育的投入、过程及产出之间的关系模式。

首先，ILSA提供了来自学生个体层面、学校层面、地区或国家层面的多种可能影响学生阅读素养、数学素养以及科学素养的指标数据，因而能够利用多水平模型将产出变量的总变异分解为学生个体、学校以及国家或地区层面的方差。这不仅有利于评估教育系统的效能，也能够考察国家教育体制或政策对教育质量的影响，甚至估计教育投资效率。其次，针对ILSA数据采用多水平结构方程模型，可以估计来自上述三个层面的多种可能影响学生的认知能力（如学生阅读素养、数学素养和科学素养）与非认知能力（如学习兴趣、成就动机、职业生涯规划等）的直接与间接效应，这有助于我们重新建构和理解教育投入和过程因素是如何影响学生产出的。另外，如果大规模测评项目是基于大规模的具有代表性的学生样本构成，则数据分析结果允许将教育效能或教育政策影响效应的研究结论推广至一个地区、一个国家甚至多个国家。此外，如果项目开展在10年以上，则可基于时序数据对一个地区或一个国家基础教育的未来发展趋势进行预测。

为实现以上作用，ILSA项目附带有一套考察教育背景的问卷，如学生个体基本信息和学习（包括校外学习）状况及家庭背景情况调查问卷、学校教育资源及管理状况的调查问卷、国家或地区教育体制、教育政策、教育投入方面的调查问卷等。根据这些问卷及能力测评工具所提供的数据，ILSA项目通常包含如下三类指标数据：一是监测教育系统的运行状况、教育产出和教育公平的指标，二是影响学校效能的因素指标，三是可供研究者进行世界范围的教育研究所需要的可靠的、可持续的、可比较的指标。

上述第一类指标既包括测量学生认知和非认知产出的指标，藉此，政策制定者可以获知教育目标的达成度；又包括保障学校教育系统正常运行（通过对学校教育资源的配置，保障各级各类学校开展教育教学活动）的学校教育资源获得情况的指标（包括人力、物力、财力资源指标）；还包括教育公平方面的指标，例如教育资源是否被公平配置，来自弱势群体或社会经济状况（以下简称SES）不利家庭的学生是否得到额外资助，不同SES家庭学生进入高中教育机会或期望是否相同，等等。对于这类指标数据的分析，可以使教育政策制定者和学校管理者明确下一项促进教育公平的政策重点和改善学校资源配置的目标。第二类指标通常包括可由政策或学校教育实践所改变的可能影响学校效能的因素指标，比如问责制度、是否按能力分班教学、课堂教学氛围等指标。第三类指标则提供国际比较的标准，从而使参与国的政策制定者可以知晓本国学生能力及学校教育教学条件与其他参与国的差距。由此可见，ILSA项目指标设计通常以政策需要为导向，政策制定者所关心的问题是排在ILSA项目指标设计首位的。PISA、TIMSS、PIRLS等学生能力大规模测评项目的背景问卷数据不仅被教育学家用于分析教育系统效能问题，通常也会被经济学家和社会学家等用于估计人力资本对经济增长的效应，或研究来自移民家庭的学生进入高中教育的机会等。

二、教育效能研究的理论模型、方法与经验研究

（一）CIPO模型

多数教育效能研究（以下简称EER）属于学校效能研究。学校效能研究的标准模式是将学校教育看作一个由背景、投入等变量与学校教育教学过程交互作用，获得学生产出的系统。20世纪60年代，美国学者斯塔弗尔比姆以及国际教育成就评价协会（以下简称IEA）在设计ILSA时均提出了这种以背景—投入—过程—产出（以下简称CIPO）为基本结构的模型，后来被许多学者不断改进，由谢瑞斯和博斯克改进的CIPO模型，主要包含学校、班级和学生个体三个层面的投入、过程、产出指标，以及国家或地区层面的教育环境背景指标。（见下表）

根据教育学和教育社会学理论，学校教育的核心是学生发展，学校希望学生努力取得优异成绩，因而学校教育的主要产出是学生成绩。教育过程被定义为帮助学生找到一个适合他们获取知识、提升能力的途径。各种教育干预措施（如课程、内外部评价、学习机会、自我管理、学习策略等）必须与学生以前的学习基础和个体特征（如性别、家庭背景等）相适应。在学校日常教育教学实践中，教师应及时监测学生成绩以及干预措施带来的变化。例如，当教师在分配作业或学习任务、设计小组学习、给出学习评价、确定升级或留级等教育规划时，教师不可避免地需要考虑每个学生以前的知识基础，而且学生个体在学习上的时间投入、教师对教学的投入（如生师比等）以及学校的办学条件（班级规模、生均经费等）等都是影响学生成绩的重要因素。此外，众所周知，学校和学生发展离不开所处的地区或国家教育环境的影响。国家的教育方针、课程结构和标准、教育财政投入以及教师培训等是任何一所正规学校所必须遵循和执行的制度，而且当地的社会经济文化背景影响着社会对学校教育的观念和对学校教育的支持状况。因此，解释学校效能的指标应包括如上来自学校、班级、学生个体层面的投入、过程、产出指标以及国家或地区层面的教育环境指标。

教育效能研究（EER）的主要目的在于识别不同层面的教学、课程、学习环境，以便能够直接或间接解释学生成就①的差异，包括考虑背景特征（如学生能力、社会经济地位以及学习基础）对学生成就的影响。因而，利用CIPO矩阵中的所有因素指标可以用来解释学生成就的变异。EER研究已经成为基于对学校和学生基本特征进行调查或对学校教育教学干预进行实验来解释学生成就变异的代名词。

（二）EER研究方法的新进展

EER模型的最新进展是，由克里莫斯和科里亚开德斯所提出的教育效能的动态模型。所谓动态模型，是指EER将学校或者其他教育因素的相互作用视为动态发展变化的过程，同时，将各层次的影响因素综合在一起考虑，并关注到它们之间的交互效应（相对以前的研究，则是没有关注到不同层面的因素之间的交互效应，尽管已经在使用多水平模型HLM）。

由上图可以看出，动态模型由国家或地区、学校、班级和学生个体四个层面构成，涉及的国家或地区层面的因素主要指影响一个国家或地区教育发展的各项政策，它们构成学校发展所处的体制或制度环境。学校层面因素包括影响教学质量的学校政策，班级层面因素包括结构化的课堂教学管理、课堂学习氛围等，学生个体层面因素包括个人特征、学习机会以及学习动机、期望等。不同层面因素之间相互作用，比如教学质量会影响学生个体学习情况（如学习机会等），同时，学生个体学习动机、能力等因素又会影响班级教学质量。班级教学质量不仅受到来自学校层面制度的影响，还会受到国家层面政策的影响。当然，这四个层面的因素均会不同程度地对学生产出产生直接或间接的影响。值得注意的是，每个层面因素的测量都需要考虑频率、聚焦、阶段、质量和差异化五个维度。频率维度用于定量分析每个因素指标对于教育效能的作用，即通过测量每个有效性因素在国家或地区、学校、班级和学生个体层面出现的频率来估计该因素对学生成就的效应；聚焦是指分析与每个有效性因素相关的具体行为或活动的重点及目的；阶段是指每个因素指标的测量都需要具有连续性，以考察各个因素对学生成就产出的持续的、直接或间接效应；质量是指投入、过程、产出指标测量时既需要考虑数量指标，也需要考虑质量指标；差异化是指针对不同群体实施区别化的教育投入和教育干预，以实现最大化学生成就效应的目的。

动态模型有助于在学校效能和学校改进研究中建立以理论驱动和证据为本的研究方法。动态模型的一个显著特征是它不仅考虑解释学生成就变异的重要因素，而且试图解释这些因素是如何产生成就效应的（通过验证理论假设而实现这一目的）。这有利于学校和教师识别有效投入和教育干预路径，在教育教学实践中调整和改进教育教学策略。因此，动态模型建立了学校效能研究与学校改进研究的桥梁。采用动态模型的EER研究更多地使用结构方程模型（SEM）甚至多水平结构方程模型，评估来自不同层面的因素（如班级、学校、学区、国家）对学生产出的直接和间接效应，检验来自理论的各种研究假设，从而帮助教育政策制定者和教育实践者针对薄弱环节提出提高学校效能和学校改进的最优策略。此外，从发展趋势来看，断点回归模型等计量方法的使用，使得研究者能够测量学校相对自身发展的差异，进而获得学校发展绝对有效性的估计，而不像以前的EER研究关注的是学校与学校之间的相对差异。

 

资料来源：教育部基础教育质量监测中心