《非认知能力表现性评价:架构与实践》系静安区教育学院周瑾老师主持的上海市教育科研课题“义务教育阶段学生非认知能力表现性评价的实践研究——以自我调控与合作能力为例”成果。全书共分四个部分,内容涉及非认知能力表现性评价的背景与意义、设计与实施、主要成果、支持保障与后续展望等领域。从作者的研究看,均能从一个个具体的视角切入,通过大量图表,深入挖掘,从而解决了一些前人忽略的、不够重视的,而又必须要梳理清楚的问题。作者的论述并不是出自主观判断,而是有一线的调查报告和基础数据作为支撑。因此,对于中小学学校管理层和一线教师来说,它具有较强的实际应用意义,遇到现实问题,可将所学理论运用在具体的实践中。
第二章 研究的设计与实施
非认知能力评价的研究是一个难点,对非认知能力进行表现性评价更是难上加难。在文献搜集与梳理分析的基础上,结合本区及本阶段的教改任务,合理制定研究的目标,科学框定研究的内容,精心设计研究的思路,细致规划研究的过程,是非常重要而急迫的事项。本章正是从研究的总体设计、基本思路、实施过程等方面对课题进行分解、细化与呈现,相当于从“是什么”“做什么”“怎么做”的角度对课题进行阐释和说明。
一、 研究的设计
(一) 研究的基本认识
评价是一个非常专业的领域,有人将教育评价研究称为与教育理论研究、教育发展研究并列的三大教育研究主题之一。为了更好地开展此项研究,我们形成了一些初步认识,用以指导研究的开展。需要指出的是,它们是研究之初的一些基本认识,而不是研究结束后最终的观点。
第一,评价是手段而不是目的,评价的目的在于促进学生的发展。我们开展此项研究,不是为评价而评价,而是通过评价提升教师的评价能力,促进学生自我调控和合作能力的发展。
第二,评价永远是一个逼近真实的过程,因此需要随着时代、社会与教育的发展,不断改进与完善现有教育评价体系。由于评价具有若干环节,而每一个环节都会产生误差,因此从理论上讲,评价结果无法完全等同真实情况,只是尽最大可能反映真实情况。因此,在研究的理性把握和实际操作过程中,既要客观谨慎地解释,又要努力地探索完善,做到精益求精。
第三,非认知能力的表现性评价,其指标体系、测评工具与实施举措,必须基于丰富的、真实的多元证据。非认知能力的表现性评价,既缺乏认知性评价的客观性,又增强了操作过程中的风险,因此,在研究的过程中,对于评价框架、表现指标、操作细则等方面,不但要以科学的态度加以研发,而且要通过多元的证据进行互证,努力使所得出的结论经得起检验。
第四,非认知能力的表现性评价,应更多从教育实践角度考察,强调基于真实的情境开展评价。表现性评价受到重视的原因及其突出的特征,就是其特别强调真实性,有人甚至将其与真实性评价(authentic assessment)等名称加以混用。但研究者指出,“表现性评价和其他教育测验之间没有绝对的差别”,两者的差别主要在于模拟真实情境的程度,即引发我们所要调查的学生行为的真实程度。因此,开展这一评价项目要注重立足于教育实践,强化真实情境的采择和运用。
第五,非认知能力的表现性评价,与认知能力评价一样,需要注重学生身心发展水平,优化评价指标,提升评价标准、手段、程序的科学性、针对性、有效性。评价的目的在于促进发展,特别是对于学生的自我调控能力和合作能力,更应如此。这些能力都是21世纪技能的重要方面,在当下学校更需要关注和培养。要加强对于指标、标准、操作等方面的研究,提升每个环节的科学性和可行性,以便真正发挥评价引领实践的功能。
(二) 研究的目标
本研究旨在通过对非认知评价的有关文献研究,基于区域状况和中小学特点,开发表现性评价的相关工具,并在一定范围内试用。具体的研究目标如下:
第一,基于调查了解区域义务教育阶段学生非认知能力水平及表现性评价状况。这是研究的基础性目标,拟通过调查研究,了解义务教育阶段学生非认知能力的水平现状和学校开展非认知能力表现性评价的状况。对于调查的渠道和方式,将结合实际情况进行研究。
第二,形成非认知能力表现性评价框架及测评工具。这是研究的核心目标,也是研究最期望突破的方面,因为从文献情报分析及本区中小学的调查了解来看,在自我调控和合作能力方面,尚无适用中小学生非认知能力表现性评价的现成工具。
第三,探索区域学生非认知能力表现性评价的运作机制及支持系统。这是研究的扩展性目标,期望通过评价的研究,同步解决评价的具体操作及支撑条件问题。非认知能力的表现性评价不同于一般性的问卷调查,对于实施过程中主试的操作及相关资质要求、被试的行为表现及反馈指令、评价的信息采集和计分方法,都有更高的要求和更大的难度,因此这一目标也具有一定难度。
(三) 研究的内容
本研究以认知和非认知能力及表现性评价的有关理论为基础,在对本区现状调研的基础上,以自我调控和合作能力为例,进行表现性评价框架的设计开发、学校的试用、运作的保障等方面的工作,具体的研究内容如下:
1. 分析把握义务教育学生非认知能力表现性评价的研究现状
对于现状的了解,一方面是通过全面而深入的文献搜集与梳理,审视研究的已有成果、当下关注及未来趋势;另一方面是通过对实践的调研,把握教育实践中这方面探索的现实状况、开发难点及相关需求,从而做到有的放矢。具体操作过程可概括为以下两点:一是对非认知能力表现性评价的文献进行系统梳理,二是对区域学生非认知能力表现性评价的问题及需求加以精细考察。
2. 基于自我调控与合作能力的表现性评价框架设计
对非认知能力进行表现性评价,关键是进行评价框架的设计,这里首先要对两个能力——自我调控和合作能力进行操作性界定,列举可观察的行为表现。在此基础上,进行表现性任务的初步研发,并细化相关的评价指标。具体操作过程可概括为以下三点:一是自我调控和合作能力的概念界定、研究学生的可观察行为,二是设计学生自我调控与合作能力的表现性任务初稿,三是制定自我调控和合作能力的具体指标。
3. 自我调控与合作能力表现性评价测评工具的开发
表现性评价操作的关键是评价量规的研发,这包括任务样例的设计、具体行为表现的打分标准。在试用基础上,形成对评价工具的信度分析和效度分析,提高评价工具的科学性。具体操作过程可概括为以下三点:一是设计任务并开发表现性评价的量规,二是试用、修订、改进表现性任务及量规,三是自我调控和合作能力的表现性评价的信度、效度研究。
4. 自我调控与合作能力表现性评价工具的实践运用
评价工具的开发,需要在小范围试测的基础上,进行更大范围的试用检验。当然,对于表现性评价而言,大范围的概念也是相对的,因为表现性评价本身操作极其复杂,在人力、时间等方面的成本较大。具体操作过程可概括为以下四点:一是培训教师如何进行自我调控和合作能力的表现性评价,二是在试点校施测,三是向学校、学生、教师反馈测评结果,四是基于区域大样本实践运用情况的表现性评价调适与修正。
5. 区域实施表现性评价的运作机制与支持系统研究
本研究是在区域范围内实施的,因此对于最终的操作运行,拟通过建立有关的平台,使操作运用更加便捷。另外,对于表现性评价的推广,也需要区域内相关部门的支持。具体操作过程可概括为以下两点:一是开发计算机网络信息平台,二是为区域建立相应制度提供政策建议。
(四) 研究的重点和难点
本课题整体的研究难度较大。一是因为非认知能力的评价本身就是一个世界性难题,而表现性评价也是一个难题,两个难题加在一起,其难度可想而知。二是因为我们在这方面的研究基础相对薄弱,关于这方面的积累相对缺乏。同时,就这一课题自身的研究内容而言,有相对更为关键的部分或环节,这也就是本课题自身的重点。研究的重点和难点可能一致,也可能不一致,就本研究而言,如下的三个问题既是研究的重点,也是研究的难点。
1. 自我调控与合作能力的表现性评价框架设计
这个问题是最核心的,也是基础和前提。整个评价的开发首先要有一个评价框架,而于表现性评价而言,这个评价框架就更为重要。因为表现性评价是对行为表现进行评量,而行为表现的观测点是与评价框架的相关描述有关联的。也就是说,没有评价框架的基础性研发,后面的工作都无从谈起。
与此同时,这个评价框架的研发是一个很难的工作。这个框架需要在概念操作性界定的基础上,对相关要素进行分解,进而形成分条目的概括性表述,这些表述直接影响和决定了后续量规的开发,因此,要设计好这两个能力的表现性评价框架,确实具有相当高的难度。
2. 自我调控与合作能力的表现性评价标准制定
如果说评价框架是表现性评价的基础性工作,那么表现性评价标准的制定就是另一项关键的工作,这相当于一枚硬币的两个面,缺一不可。表现性评价标准涉及行为表现的具体描述、计分规则及分数合成等有关技术问题,没有这些要素,就无法给出最后的结果,其重要性可想而知。
与此同时,这是一个难点。表现性评价标准的制定不但有详细且严格的流程,而且每个流程都要花费大量的时间和精力或者说智力。在初步编制的基础上,要对评价标准进行试用校准,并通过试用获得相应的信度和效度指标,这些都具有相当高的难度。
3. 评价工具的实践操作方式及运作机制
由于本研究是一项实践研究,因此在研发出评价工具之后,还要对评价的操作进行研究。若要在一般学校中加以推行和落实,那么在保障评价科学性的同时增强可行性,是非常重要的。否则学校就敬而远之,最终对实践改进也没有什么价值。
对于非认知能力的表现性评价,其操作比一般性的问卷调查要复杂、困难得多,不仅对于主试资质有一定的要求,而且对于流程的实施有相应的规范,这就需要考虑进行相应的培训,以及借助于现代信息技术加以推行。总之,这些工作都具有一定的难度。
(五) 研究的主要方法
本课题在教育科研常规方法基础上,使用多角度平行互证的方法,把量化统计、质性分析、理性思辨有机结合,力求把握问题要旨,形成更加科学的结论。具体而言,本课题使用如下的研究方法:
1. 文献法
搜集国内外有关非认知能力表现性评价的理论与实践的期刊论文和学位论文,考察评价维度和方法的价值性,确保研究的前沿性。研究在立项前、开展后的整个过程中,除进行有关专题文献搜集之外,还持续进行新文献的查询研习。
2. 访谈法
就非认知能力的指标和行为表现,课题组对教师、学生、学校管理者等进行访谈。在本研究的量规及任务试用过程中,课题组开展了大量访谈,形成了大量的访谈原始资料。特别是在评价量规试用的过程中,被访谈对象个体或团队提供了大量的文字及录音资料。
3. 观察法
为了使表现性任务在使用中能够更好地切合实际,课题组人员及有关试点学校,在任务开发和试用中,深入现场开展观察和验证,确保评分标准对学段的适切性和任务对学生的适用性。表现性评价的信息搜集方式主要是观察,因此,本研究中对于评价任务样例的考察及评分的操作考察,主要基于观察法进行。
4. 调查法
调查法是较常用的研究方法之一。课题组在研究的开始阶段主要采用问卷调查方式,通过改编形成自我调控和合作能力的调查问卷,利用这一调查工具,在全区义务阶段学校内进行大规模的专题性调查。对所搜集的数据资料,研究人员利用SPSS等专业工具进行统计分析,了解区域义务教育阶段学生非认知能力的发展现状、学校在表现性评价方面的尝试现状,以及在表现性评价方面所遇到的困难和希望得到的支持。
5. 案例法
这是提高生动性和鲜活度的重要方式,这一研究方法在许多研究中得到应用。本研究对于案例法的运用,一方面体现在对评价过程中所形成的有关学生非认知能力发展的文本性资料,采用质性方法具体分析,增强研究的生态效度;另一方面是结合试用学校及有关教师、学生的情况,或者搜集学校在这方面的尝试情况,进行挖掘和分析,从而形成典型的实践案例。
(六) 研究的创新之处
本研究是一项开创性研究,至少在国内的同类成果中,围绕这一主题的实践性研究很少见。本研究的创新具体体现在如下几个方面:
第一,区域层面义务教育阶段学生自我调控与合作能力的表现性评价工具的创造性开发。尽管自我调控与合作能力的评价研究,在以往的成果中并不缺乏,特别是合作能力的研究,在PISA2015项目、ATC21S项目等研究中,也都有一定的介绍,但从义务教育阶段区域的实践操作来看,这方面的研究还是比较缺乏的。指向自我调控和合作能力的、直接针对中小学的表现性评价成果,确实很少见。
第二,区域层面义务教育阶段学生自我调控与合作能力表现性评价的操作方法的创新性探索。目前,区域层面尽管有不少的评价项目,如学业质量评价、学习生活质量调查、活力指标评价等,但这些评价项目大都是以调查和测验为主,较少开展表现性评价研究。区域层面大规模表现性评价如何开展?需要怎样的流程和规范?需要怎样的机制和支持?这方面确实没有现成的经验可循。因此,对区域层面这一评价的操作方法研究具有很强的创新性。
第三,通过参与式行动研究,提升教师的评价能力,促进教师对学生自我调控与合作能力的培养。教师教学国际调研项目(TALIS)的调查结果显示,中国教师的整体素质较高,但在评价方面的能力相对薄弱。因此,如何提升教师的评价能力是促进教师专业素养提升的重要方面。本研究让教师参与课题活动,注重评价工具试用中对教师的培训,并通过学校团队来进行表现性评价的研讨与尝试,将会大大提升教师的评价素养,也会有助于教师对学生自我调控与合作能力的关注与培育。
第一章 研究的背景与意义
一、 研究背景与价值
(一) 对新时代教育改革与创新趋势的积极回应
(二) 对教育评价领域研究的拓展深化
(三) 对上海教育改革难点问题的突破尝试
(四) 对实现区域教育高质量发展的经验提炼与瓶颈突破
(五) 对提升学生认知能力与促进学生全面发展的有效助推
二、 国内外相关文献研究综述
(一) 非认知能力
(二) 自我调控能力
(三) 合作能力
(四) 表现性评价
(五) 自我调控能力与合作能力的评价
第二章 研究的设计与实施
一、 研究的设计
(一) 研究的基本认识
(二) 研究的目标
(三) 研究的内容
(四) 研究的重点和难点
(五) 研究的主要方法
(六) 研究的创新之处
二、 研究的实施
(一) 研究的实施思路
(二) 研究的实施过程
第三章 研究的主要成果
一、 学生非认知能力表现性评价调查报告
(一) 学生非认知能力的现状调查
(二) 义务教育阶段学校非认知能力表现性评价的现状调查
二、 表现性评价的工具研发
(一) 表现性评价的内涵界定
(二) 表现性评价量规的开发与编制
(三) 开发表现性任务与编写使用手册
三、 表现性任务及量规的试用与修订
(一) 表现性评价的质量标准
(二) 自我调控能力表现性评价用表试用与调整
(三) 合作能力表现性评价用表试用与调整
第四章 表现性评价的支持保障与后续展望
一、 表现性评价的机制建设
(一) 学生非认知能力表现性评价信息化平台研发
(二) 表现性评价的机制建设
二、 研究的反思与后续展望
(一) 研究前一阶段的反思
(二) 研究的后续展望
附录 表现性评价的学校实践案例
学中“任务单”+学后“诊断单”
基于单元评价的单节评价活动设计
用“微笑存折”积聚成长的点滴收获
奖券里的故事
构建个性化网络评价,营造小学班级积极情感环境
多元评价促进学生个性成长
导航:点燃个性化发展的梦想
后记