第一部分 相关理论及方法综述
概述
第一章
监测评估的概念及历史发展
第一节监测评估的概念
监测评估(monitoring and evaluation)是一个统一的不可分割的过程,但它却包含着两个相对独立的概念——“监测”和“评估”。“监测”的英文为“monitoring”,从中文字面上解释,“监”应理解为监视、督察,“测”为测量、猜度、推想。监测就是为了特定的目的,依据一定的指标体系对监测对象的发展轨迹实行连续不断的观察、测量、记录、对照、分析和评定。“评估”的英文为“evaluation”。“评估”中的“评”意为议论是非高下,“估”意为揣测、大致地推算。评估指阶段性评定,它针对既定的目标就其适合性、执行情况、效率及效果进行评判(王应政,2010)。
监测评估是项目和规划启动与实施过程中必不可少的一个重要部分,但是目前对监测评估还没有形成统一的定义。世界银行将监测定义为:“监测是一个常规的、持续性的功能。监测中应用系统性的数据,为管理者和主要利益相关者提供活动执行中的有关信息,包括活动的进展状况和目标实现程度,以及所分配的资金的使用情况等。”将评估定义为:“系统和客观地评价一个正在实施的或已完成的项目、计划或政策,包括其设计、实施过程和结果。评估的目的是确定目标的相关性和相应的完成情况、效率、效果、影响和可持续性。”世界卫生组织认为监测是通过记录存档、定期报告和监测系统对当事人的调查,追踪项目或计划的关键要素(通常指投入和产出)执行情况的常规性工作。监测能帮助项目或计划管理者确定哪些领域需要加强工作,哪些领域取得了良好反映而需要保持。在一个设计完好的监测与评估系统中,监测对于评估是大有裨益的。选择项目执行者和管理者实际会使用的有限数量的指标进行监测,这一点非常重要。相反,评估则是对实行项目或计划干预后所要达到目标的改变程度的事件性评估。换句话说,在执行特定项目一段时间以后,评估试图把特定的产出和结果直接同干预相联系。评估能帮助项目或计划的管理者确定某个项目或计划的价值,进行成本效果和成本效益的评估能帮助项目或计划管理者确定特定项目或计划的附加价值。
从上面两个定义我们可以看出,虽然人们对监测和评估的具体定义不同,但是基本的含义是一致的。概括来说,监测可以定义为收集信息、评价工作计划执行进度的经常性活动。评估可以定义为在目标变化的实践中收集信息、评价工作计划执行进度的周期性活动。项目在开展监测与评估活动时,一般坚持以下原则(翟启江,2009)
(1)独立性:项目的监测评估独立于项目活动之外,不受项目执行部门的影响。
(2)实用性:监测评估的结果影响项目执行的决策,必须具有可操作性。
(3)可靠性:项目监测评估的依据必须真实、有效、可衡量;数据采集和资料分析要准确,保证监测评估结构的准确性。
(4)透明性:监测评估的过程和程序必须公开、公正、公平,要科学、客观地评价项目和计划的实施情况。
(5)周期性:周期性地调查、了解和评价计划实施的情况。
(6)以出资人和受益人为主的原则:出资人和受益人将最大限度参与到评估中,以便听取他们的意见和建议,及时调整项目实施计划,使项目更好地开展。
(7)委托原则:评估通常遵循的是委托原则。任务委托方确定调查研究的对象和目标、公布评估计划并根据特定的标准支付资金,而科学性并不是最重要的。因此,评估中问题的确定和详细说明所指向的是非科学的认知兴趣及运用的情景。
(8)时效性:为了发挥评估结果的有效性,评估必须在事先确定的范围内并在某一时间点前完成,否则评估的结果就不会在决策过程中(如在项目调控框架内的决策过程,或者是针对资助决策合法化的决策过程)得到关注。
(9)不可逆性:在评估研究中,“所采用的猜想和假设都要得到高度的经验性(emperisch)检验,所有信息的获取、评价和解释的过程都要有方法上的保证,而且整个过程都要有质量监控”,因为根据错误的数据所获得的错误结果会给相关方面带来严重的后果(施托克曼和梅耶,2012)。
由此可见,监测和评估的区别主要在于:更确切地说,监测是要表现日常的问题,更多的是对现状的盘点;而评估主要是调查一个项目的影响并对它的原因进行探究。评估具有广泛的投入、有很强的目的性和不同的重点;除了对现状进行盘点和评价外,评估通常还包含了对原因和后果的分析;另外,在评估中还要对总的计划方案的背景进行探究,这被认为是评估的基本特性(施托克曼和梅耶,2012)。
本书中不对监测和评估做严格的区分,只将它们看做项目管理工作的两个联系紧密的阶段。因此,有时也将监测评估只称为评估。监测与评估的区别与联系如表1-1所示。
表1-1监测与评估的区别和联系
区别内容监测评估两者关联关系
关注衡量指标的变化,判断目标的进展客观衡量实施的结果和干预措施价值的过程问题正在走向何方;离目的地还有多远目标实现程度;结果是否可信;如何改进;经验是什么方法周期短,指标较多,更多地采用定量方法周期长,指标相对少,更多地采用定性的方法实施主体一般为项目管理者自己(日常)开展监测统计可自评估、外部评估、参与式评估(1)没有监测的评估是不可想象的(2)先监测,后评估,评估和监测相辅相成《世界银行业务手册》(以下简称《世行业务手册》)中所划分的三类监测评估的含义分别是:第一类,中期监测评估。中期监测评估是指项目管理部门在执行过程中进行的评价,是对进展情况的初步调查,并预测可能出现的结果。中期监测评估旨在找出项目设计中的问题,是项目管理不可缺少的内部活动。第二类,终期监测评估。终期监测评估与中期监测评估相似,但它是在项目结束时进行的监测评估。第三类,影响监测评估。影响监测评估一般在支付最后款项几年后才进行,用以衡量项目所带来的直接或间接的变化。亚洲开发银行贷款项目移民安置监测评估及项目效益监测评估开展的就是中期监测评估工作(张俊峰等,2011)。
第二节监测评估的历史发展
监测评估对于管理领域来说是近30年才出现的一个新概念。尽管从字面上看,“监测”所具有的监督、巡视、巡查、督察、评议等管理方法古已有之;“评估”一词早在20世纪50年代就在联合国系统及一些发达国家的管理文件中出现了,但将监测和评估作为管理系统的重要组成部分提出来却是近30年才出现的。
监测评估作为现代管理方法的萌芽可追溯到20世纪30年代,当时,美国政府为了检验其新分配计划在经济大萧条期间的作用,对一些政府启动的项目开始进行评价。在20世纪60年代,美国政府启动了“向贫困宣战”(war on poverty)计划,投入数亿元新建了大批公益项目,国会和公众对项目资金的使用效益和影响极为关注,政府开始正式将监测评估作为现代项目管理手段,对这些投资项目积极开展了以经济效益为核心的评价。在这一时期最重要的、也是对监测评估的制度化形成有重要影响的一项成果就是1965年通过的《初等和中等教育法案》(Elementary and Secondary Education Act,ESEA)。这一法案为教育领域提供了大规模的增量资金,而这些资金的分配明确要求实施监测评估。在尼克松总统时代,这种体制得到了进一步的推广。随后,这种方法作为改善管理的一种有效手段,在加拿大、南美、欧洲、澳洲等国家和地区得到了广泛采用和推广。
进入20世纪80年代,出于以下三个方面的原因,人们认识到必须调整以“经济效益”为核心的传统监测评估目标,而转向“社会公平和其他”的经济社会目标。
第一,1979年,在罗马由联合国粮食及农业组织(Food and Agriculture Organization of the United Nations,FAO)举办的世界农业改革及农村发展大会明确指出:农村发展的基本目标应是消除贫困、饥饿和营养不良。具体目标是增进公平、实现国家粮食自给、达到生态和谐及保护自然资源。关注农村贫困问题必须了解农村的社会经济结构和各种群体之间的关系。因此,监测评估工作自然被作为农村开发项目的有机组成部分之一。
第二,20世纪50~70年代项目失败的重要原因之一是项目执行不力。为了有效地执行项目,项目各方都一直在寻求一种有效的工具。实践证明,监测评估工作可以在短期、中期、长期中各个方面加强项目管理的功能,从而得到了各方的认可和青睐。
第三,世界范围内可用于开发资源的逐步缩减也迫使项目各方不得不认真思考优化资源使用的途径,以便能得到最优的开发质量和最佳的开发效果。例如,当世界经济危机使公共财政变得捉襟见肘时,提高项目和措施的有效性、效果和效率,为理性决策提供依据就显得十分重要,只有借助这些标准才能制定可行的优先选择及淘汰程序。而解决这些问题,监测评估可以发挥很大的作用。
基于以上原因,无论是捐赠国还是受援国都越来越认识到监测评估是进行有效项目管理的重要工具,尤其是在农业及农村发展项目中,它能够瞄准贫困的弱势群体和项目受益人,从而有效发挥扶贫的作用;同时,这种管理体制还可以作为有效的早期项目纠错手段,于是,监测评估开始被联合国系统的机构和组织广泛接受和采用。随后,这些机构也开始像20世纪50年代末和60年代初支持和帮助发展中国家构建国家发展计划能力那样,鼓励发展中国家构建国家监测评估体系作为目标导向型的发展管理工具。
尽管目前在各监测评估组织和机构内部就监测评估的目的、模式、方法等有关问题还有争论,但已有越来越多的组织和机构接受评价理论和方法。在过去的30年中,监测评估理论和方法已被广泛运用于北美洲、大洋洲、西欧和其他地区;加拿大、美国、英国、瑞典等国家已成立了专业评价协会,澳大利亚地区、中美洲和欧洲还成立了大区协会;其应用领域已不仅仅限于项目,还包括比项目更宽的计划、规划、政策等。
……
展开