社会资源研究所（SRI）自去年十月开通【DMEL每周一问】专栏至今已有一年之久，时逢第50期，我们也吸取DMEL的思维，反思这个栏目的效果，计划于近期对专栏进行改版。第50期将分为上下两期汇总之前所有文章的精华，供读者对1-49期内容进行总结和概览。
1 为什么要评估？
张帆
评估有两大目的：1）呈现目标达成情况，例如已经取得的成果，产生的影响等；2）识别项目在设计、执行、监测等不同环节中的改进方向，以提升目标达成度。从第一点来说，公益实践者有义务向资助方呈现公益项目的效果，而不仅仅是资金使用情况，当然受限于各种资源和条件，效果呈现的全面性和深入度可以量力而行。从第二点来说，大多数公益项目并非一锤子买卖，大多数社会问题的解决也是漫长的、持续的过程，因而评估更为重要的作用是学习，在可靠客观事实的基础上学习什么有效，什么无效，以及如何才能更有效。
2 什么是好的评估？
高瑞
1.以事实为基础——可靠性：例如，当我们询问一个提升妇女领导力提升项目产生的实际效果时，如果得到的答案是“有很大提升”，我们就需要追问“有哪些具体体现呢（在生活中、工作中）？”“在（上述的）这些方面，你以前的处理方式是？你认为现在的处理方式有何不同？”“是什么让你产生了这样的改变呢？多大程度来自于这个项目？”
2.纳入多方观点——完整性：例如，对于“学生发展类项目”，评估方既可以直接向受项目干预的学生了解信息；也不可忽略其他未参与项目的同学、老师、家长等对他们成长的观察和体会；作为“旁观者”，他们对于“变化”可能更敏感、更客观。
3.贡献于项目有效性的提升——应用性：评估不能仅仅停留在收集和展示信息，应追问评估对项目有效性提升的作用，例如：已经达成的目标是什么？距离我们的长期目标还有多远？上一个阶段中，有哪些利益相关方对我们的目标实现起到了推动作用，哪些阻碍了项目目标的实现？未来他们的角色如何？外部环境、内部环境是否在上一个过程中发生了什么样的变化，这些变化对我们未来会有重大影响吗？
3 评估有哪些步骤？
张帆
明确评估目标。即希望通过评估回答什么问题，以及知道了这些问题的答案会怎么样。评估只是回答问题的一种方法，其本身并不是目的所在，因而必须先明确想通过评估回答的问题——而这些问题，必须是由公益实践者自身提出，因为他们才是需要这些问题的答案来做出决策的人。
制定评估方案。即收集什么样的信息能够回答上述问题，以及如何能收集到这些信息。
实施评估。即按照评估方案收集、整理和分析信息，最终得出评估结果——第一步中问题的答案。
使用评估结果。即将问题的答案应用于决策。这一步骤常常被忽略或是无意识地进行，然而这才是实现评估目的的关键所在。
第一步和第四步才是评估的关键所在，而第二、三步则是重要保障。如果忽视了第一、四步，会大大降低评估的效力；如果没做好第二、三步，得出的评估结果你可能会不敢用。同时，被评估方在评估的每个环节都扮演着至关重要的角色，一个好的评估一定是以被评估方很好地履行了自己在评估中责任为前提的。
4 好的评估者有哪些特点？
张浩诗
好的评估实施者需要将自身鲜明的特点展现在以下两个维度上，即建立维护良好的评估关系与提供真实有益的评估结果。两个维度既有交叉重叠，又各有侧重。
建立维护良好的评估关系，是评估得以进行的前提条件，也是收获好的评估结果的先决条件。提供真实有益的评估结果，是评估实施者的工作使命所在。
5 什么是发展性评估？
张峻玮
基于信息的使用方式，而划分出的两种传统评估模型：总结性评估和形成性评估。通俗而言，总结性评估的对象是结果或效果；而形成性评估的对象则是达成效果的全过程，效果本身则位居其次。这两类传统评估范式，都要求干预的模式（包括目标和实现目标的方式方法）在“形成”前进行“预设”，但在真实世界中，并不是所有的干预工作都能预先设定，工作者往往面对的是复杂多变的现实，这就自然引出了发展性评估（Development Evaluation），它针对的是具有创新性、探索性、环境多变的干预工作，不使用、也无法使用基于目标和手段而设定的评估框架，只能随着干预工作的深入，随时开发评估框架，随时识别和搜集有价值的信息，引导干预工作做出有针对性的调整。
6 DMEL离我们有多远？
张帆
一方面DMEL的理念在日常生活中其实随处可见，大家不必觉得高深莫测，一则不到30秒的牙膏效果广告中就可以涉及DMEL中的“设计、监测、评估”这三个环节；另一方面，公益领域使用DMEL提升有效性还有几大难点需要突破，例如社会问题的成因复杂、社会问题的解决方案多元、公益领域的评估是以学习改进为目的等，所以尽管DMEL提供了一些可操作的工具方法，上手并不困难，但唯有公益实践者持续学习、练习，才能最大程度发挥其功效。
7 什么是总结性评估？
张峻玮
接受过评估或有评估需求的读者或许发现，目前国内绝大多数评估都是围绕产出和结果开展。背后的一个重要目的是问责（Accountability），即向某一群体（或向工作团队自身，或向资助方，或向更广泛的社会大众）证明干预的有效性。这一类评估其实就是我们所讲的总结性评估。所谓总结性评估，是在干预结束后，搜集信息回溯干预的全过程，来评估干预目标的实现情况、干预的成本-效率等。
8 什么是形成性评估？
张峻玮
上期介绍“总结性评估”（Summative Evaluation）是最基本的评估方式，应用总结性评估有两个重要前提条件：干预目标和指标体系在干预前就相对完备，干预行动与计划行动变动不大。但实际中，公益项目很难具备上述两个前提，这就导致总结性评估无法最大限度发挥其梳理成果的功能。
形成性评估（Formative Evaluation）则尝试从项目设计时就介入，以期对项目的干预目标、指标及行动计划在早期就施加影响，避免及减少执行过程不必要的调整。所谓形成性评估，即在干预的全流程搜集信息，识别出阶段性结果和干预的不同方式对结果的影响，以此为干预的全过程提出改进建议。
9 小母牛评估官做什么？
张帆
小母牛监测评估官员的工作是：根据全球目标，制定中国的评估指标库；深入参与项目审批环节，从头开始促进有效；制定监测流程，开发监测工具，并对监测内容给予反馈；负责具有持续性项目的末期评估。小母牛PME部门监督与支持并重的工作方式、以参与式为核心的监测流程，以及以学习为导向的评估策略。正如小母牛中国项目PME部门主任牟平所说的：“组织内部的监测评估部门面临的最大困境，就在于在服务和把控之间做好平衡。首先要有心，即态度上是为中国项目整体服务的，而不要老想着监管、评价他们；其次要有货，即必须持续学习、实际接触各地区的各类项目，提建议时要言之有物，不能理论化和理想化。”
10 为何区分产出成果影响？
张帆
资源投入和干预活动得到的是产出，这一部分属于“管理区”，即项目可以控制的，公益实践者需要确保投入到位，活动按时、按量、按质完成；目标的实现情况对应的就是成果，这是评估的重点，公益实践者既要关注预期中的成果，还应对预期外的成果保有敏感，加以分析研究，从意外的成功中学习成长；而影响则是长期的社会变化，属于“想象区”，指对影响的预期更多是基于理论推导，以及类似的就已发生的长期变化所做过的实证研究。如果不对这三者进行区分，很可能进入以下几种误区：1)把产出当成果，偏离了心目中的目标。2)将有限的时间、资源放在整理产出，而非衡量成果，以至于各项活动做得都很好，却不清楚目标是否实现。3)动辄就期望影响发生，而对于持续不断的工作缺乏耐心。4)没有长期影响观，对短期内取得的成果沾沾自喜。
11 建立有效公益思维的书籍？
李志艳推荐《失败的逻辑》：为什么大多数发展项目往往以失败告终，有些甚至酿成巨大灾难？本书以计算机模拟实验的方式研究人类应对复杂社会问题时的表现，发现这主要和人类的思维模式有关。整本书像极了对公益人士的反讽，因此也可以看做是公益人士的解毒药。
张峻玮推荐《简单的逻辑学》：推荐这本书，是因为监测评估的过程，说到底还是逻辑思维的过程。这本书通过有趣的案例来分析如何有逻辑的讲话和写文章，如何让我们的论证严谨规范。
高瑞推荐《创新的解答》：本书通过企业失败、成功创新案例的分析，提出创新产生的突破点首先在于“关注客户使用产品要解决的问题”，而不是“客户属性，即他们是谁”。
张浩诗推荐《非暴力沟通》：那些做不好的项目、处理不好的资助关系、留不住人才的机构、解决不了的社会问题与冲突等等，可能正是因为我们无意识地“暴力沟通”。
张帆推荐《卓有成效的管理者》：德鲁克认为组织只有为外部环境做出贡献，才有存在的价值，而组织对外部贡献的成效高低则取决于其管理者的有效程度。他还提出，并不是机构负责人才是管理者，所有负责行动和决策而又有助于提高组织工作效能的人，都应该像管理者一样思考和工作。
12 你有量化迷思吗？
高瑞
在我们对公益项目评估时，为了保证成果识别的客观、可靠，往往会倾向于采用量化指标来衡量。同时，我们也会遇到一些不那么容易量化的信息，如孩子们的自信，于是，我们费尽心力地寻找，探索、甚至开发各种量化工具，如自信量表。但是，每个孩子对自信量表中每一题的打分——是可能带有主观偏见的，这种主观偏见可能来自其所接受的教育，朋辈关系，也可能来自某个“美好品德，如谦逊”。量化过程除了带有主观性以外，量化数据还有可能会忽略“关键信息”。即也许经过测试，85%的孩子都因我们的干预活动产生了明显的变化——从“自卑”转为“自信”，那么，这种转变来自于什么呢（成功因素，我们可以或许可以加强干预，以加强效果）？另外的那些孩子的自信又是为什么没能得到提升呢？量化的数据显然并不能很好地回答这些问题，而这些问题又对我们改善项目成效至关重要。
13 “指标”能目标化么？
张峻玮
不管是政府官员还是公民社会，首先应当思考的，是围绕目标开展工作，思考如何从根本上解决社会和弱势群体的问题，而不应当让考核指标的执行情况成为工作目标。关注指标而不是目标，把指标完全等同于目标，是舍本求末，是思考和行为懒惰的表现。例如在童工的问题上，要解决的不是“将童工遣返”，这仅仅是一个指标，而是思考如何在制度上让孩子能够留在学校接受教育这一根本目标，比如向贫困地区加大转移支付的力度，向初等教育中的贫困儿童和家庭投入更多生活性补贴，向工作儿童提供更多教育和成长服务等。公益组织是否在工作中，也会面对类似目标“唯指标”化的困境，在追求指标所确定的绩效时，偏离了最初的梦想？
14 受益人变化故事有什么用？
张帆
收集受益人的变化故事，大概是公益实践者最常用的评估方法之一。让我们来看看同样以收集故事为起点的“最重要变化法”（Most Significant Change，以下简称MSC）是怎么做的：简单来说，MSC分为以下三个基础步骤：第一步：收集大量的“最重要变化故事”； 第二步：利益相关方在大量“最重要变化故事”中，选出最重要的几个；第三步：将选择过程和结果反馈给讲故事的人。MSC本质上是一种以组织学习为目的、参与式的监测评估方法。受益人故事是反思的起点，同时不满足于产生了变化和影响，还要追问这些变化有多重要，那些最重要的变化是否已经发生，通过做什么才能让最重要的变化发生。MSC能帮助公益机构对其使命在组织内外进行更广泛的讨论，并尝试建立共识，同时它是从实际的变化出发，时刻提醒我们目标与现实之间、公益人的愿望与服务对象的需求、真正的社会问题之间，可能存在的差距与错位。
15 如何确定评估问题？
郭冉
评估工作是围绕着具体的评估问题开展的。评估委托方的问题越明确，就越有利于评估者做出有针对性的评估设计，评估结果的应用价值也就越高。一个好的评估问题不仅要明确评估所回答的问题，也要确保有可行的方法回答它，并且这个答案一定是对利益相关方解决项目所针对的社会问题有价值的。这意味着它蕴含了三部分信息：1.评估范围；2.信息收集的策略、方法；3.评估结果的使用对象与目的。确定评估问题三步走：Step1 明确评估目的；Step2 拟定总体评估问题；Step3 形成可测量的具体评估问题。在确定评估问题的过程中，还需要注意时间和预算，以及信息收集过程中可能存在的政策或道德上的风险。
16 如何用DMEL思维写一份“好”的结项报告？
高瑞
结项报告并不只是简单的汇报，更是自我评估的呈现。报告非财务部分包括项目逻辑、项目产出、项目成果、反思四个核心内容。第一部分项目概述：这部分交代项目逻辑，主要说明以下三个问题：1.项目是在什么背景下，为解决什么样的问题而设立的？2.在项目期内，预期达成怎样的目标？ 3.项目采用什么样的策略，以达成预期目标？第二部分活动-产出：以“我们所执行的内容”为核心，交代在项目期内完成了哪些活动，即项目产出；并对照项目计划书中的预期产出，说明产出完成情况。第三部分成果：和产出部分不同的是，该部分以“受益对象的改变”为核心，说明项目的成果。第四部分反思&对未来的价值：这一部分是项目执行团队基于对产出、成果的反思，回顾项目设计策略、执行过程、项目管理等内容，从而呈现本期项目的成功经验/失败教训对下一阶段的价值。
17 如何用DMEL的思维求职？
张浩诗
我们相信从某种意义上讲，“你如何认识和管理自己，也将如何认识及管理你即将上任的项目”。用DMEL思维求职的方法，第一，设计你的拼图：设计过公益项目的人，想必都知道哈佛大学著名的“三圈理论”，即“价值、能力和支持——分析框架”，同样的，在求职时你也要始终对自己的三块拼图保持敏感，即“资产、追求和市场现实”。第二，彰显你的成就：大多数人在简历中会有两个惯性行为，即线性叙述过往所有工作、实习及社团志愿经历，无论其与应聘工作的联系是否紧密，这种行为会使招聘者觉得你并未厘清自己职业发展的里程碑，就如同在监测一个公益项目时缺少重要监测点。第三，分享你的反思：正如一个项目需要反思和改进一样，当你将受益人群变化、消费者满意度、创造利润额、筹集资金额等等信息用数字或文字传递出来后，这便使简历筛选者或面试官对“过去的你”有了初步了解。但他们想聘用的是“现在及未来的你”，所以对于“过去”的反思与学习能力将更加凸显你胜任新工作的潜力。
18 你的问题界定足够好吗？
李志艳
一份标准的项目设计书，一般包含项目背景、目标、成功指标、活动、团队、时间进度、预算等内容。首当其冲的项目背景，其重点就是问题分析，没有问题分析，就无所谓目标，也就无所谓成功指标、活动和预算。问题分析最为重要，但却最容易被忽视。太多时候，我们轻描淡写地掠过了背景与问题，而迫不及待地策划起项目活动，甚至操心起项目预算来。过于关心活动和预算，这与公益组织社会问题发现者的定位是极不相符的。以下提供问题分析的5个原则：1.感同身受，内心震动；2.反复出现，系统存在；3.创新独到，可能会错；4.很有嚼头，不含答案；5.如果解决，那又怎样。
19 何谓有效公益？
李志艳
无论国际或是国内，有效公益都还不是严格的术语。在我看来，它更像是一种价值主张，它希望把公益人的视角从“透明性”、“专业性”以及对公益资源的渴望，转移到成果或社会影响的关注上。因此，有效公益的焦点一定是社会问题的解决方案，而非公益人的能力、职业素养，也非公益组织的成长和发展。后面这些都是投入、手段或者是切入点，而非最终的目的地。“有效公益”指的是公益的资源和能力能够产生更多更好的成果。“有效公益五要素”包括：针对性、效果、效率、可持续、宜推广。“有效公益”的价值主张是遵循“从问题出发”、“目标对象为先”、“成果导向”三个基本点的。
20 你的机构能成为“学霸”吗？
张浩诗
DMEL中的Learning（学习）是整个系统能够发挥效能的关键一环。有时候，在一个项目阶段性完成后，组织草草写就一个结项报告，便进入了下一个执行周期或开始了另一个项目；也有时候，组织邀请了专业人员进行项目评估，却错把一纸评估报告当成了目的，或将伴随评估而来的问责当成了唯一目的。这些态度与行为都不利于改进公益项目的质量，升级公益产品与服务。组织需要认识到，项目不会自我治愈，评估过程与结果也并不会自动演化出更好的解决方案，只有组织主动去研究过往项目经验、将评估信息内化为组织的知识，才能推动项目的质量螺旋上升，而确保这种“主动研究进而改进”的是组织具备的三个特质，我们称之为支撑学习与改进的“三大基石”。 第一大基石：支持鼓励的组织环境；第二大基石：分秒必争的时间保障；第三大基石：身体力行的领导风范。
21 怎样做“有用的评估”？
高瑞
我们经常听到这样的需求，“做了这么长时间，想知道我们到底产生了什么影响（Outcome+Impact）？”“做了这么长时间，不知道效果如何，哪些地方可以改进？”“资助这个项目有一段时间了，想知道效果如何，是否需要/应该继续资助？”可见，在评估的一开始，委托方是带有期待的，即希望将评估应用于决策制定、项目改进。然而，在大家眼中，评估却常和“专业复杂的定量分析”、“冗长繁杂的报告”划上等号，甚至，对于经过漫长、复杂的工作过程而产生的评估报告，看都懒得看，更遑论应用了。如何做有用的（useful）评估、可用的（workable）评估？第一，明确主要使用者，要回答的问题便是“谁是评估报告的主要阅读者和使用者，他们希望通过评估解答什么问题？”第二，用户参与的评估设计。在确定评估问题时，和用户一起挖掘、识别真需求；在开发评估指标时，暂时放下标准化指标，听听使用者对“标准化指标”的理解和评价；在开发信息搜集工具时，多和他们讨论，了解利益相关方可接受的、乐于使用的信息搜集工具方法。
22 你把收集到的海量信息用起来了吗?——以美新路大朋友项目为例
张帆
美新路公益基金会（以下简称美新路）非常重视项目的监测评估工作。它所发起的“大朋友项目”，除了定期通过问卷方式向“小朋友”收集反馈外，还对服务满一年的“大朋友”进行结构式电话访谈。他们对这些信息进行统计、分析、讨论，并真正用于指导工作。收集信息永远只是开始，如果收集到的信息不能被利用起来，对决策产生影响以提升有效性，那么不如不要浪费时间和精力去收集。我们不能期待信息收集完了自然就会用，而必须预先想好如何使用信息，也必须及时跟进总结和思考，并作出行动调整。对行动有用，是信息搜集的真正价值所在。
23 评估如何更加有用？
李志艳
我们认为DMEL作为一种思维与方法体系，对于公益机构的有效性极为关键。公益组织过于拘泥于项目活动，在分析社会问题、定义项目价值、反思项目策略、改进与提炼项目战略方面所花的时间太少，相应的能力也比较欠缺，这已经成为公益组织发展的重要制约。我们并不是在推销一种工具或者所谓科学的方法，而是要推销一种“思维”和“精神”，方法和工具并不重要，严谨不严谨也不重要，重要的是我们在什么思路下工作。正确的思路可以指引我们最终走向有效的公益。这种精神就是“绩效精神”或者称之为“社会影响”精神。我们要不断扪心自问：“我们在为谁服务”，“我们在应对什么问题”，“我们希望带来什么变化”，“怎样算项目成功”，“我们可以做得更好吗”、“我们是否建立了一种机制可以让成效在项目结束后延续”，“为了更好的成效，我们需要做出哪些关键决策”，“我们在组织、资源、能力、流程方面需要提供哪些支持来推动改变”。
24 没有目标，可以吗？
李志艳
应对复杂问题的干预方式，第一种，暂且称为“响应式”，也就是干预者自身不设定目标，他的任务就是满足服务对象的需求；第二种，暂且称为“目标式”，他制定某些特定的目标，然后带动服务对象实现预期的变化。在公益领域里，由于更容易受到理念和价值观的主导，纯粹“响应式”的干预非常多见。但是，因为人和资源因目标聚在一起，如果自身定位不清楚，服务人群会无所适从，如果我们没有目标，那么身边即使有众多资源，我们也可能发现不了。感受需求，需要主心骨，这个主心骨，就是目标。一个号称响应百姓需求的市长是不可信赖的，即使他真心实意这么做，没有目标的公益机构，没有目标的公益项目也是很难让人信赖的，即使我们真心实意地做公益。
25 你知道你已经在做评估吗？
郭冉
有不少项目团队觉得评估是一件独立于项目本身，在项目结束后才需要考虑的事情，其实不然。你的团队是否对项目活动做记录？活动结束是否收集组织者与参与者的反馈信息？项目人员是否定期沟通工作中取得的进展、交流遇到的困难与可能的解决办法？如果答案是肯定的，那么你的团队其实已经在做评估工作了。如果你的团队有设计方案、活动记录和反馈信息，也进行定期沟通与交流，却不认为这是监测评估，那么问题可能是团队并没有将这些工作进行系统的归纳总结，也未能与项目改进建立联系。你的日常工作能够在评估中发挥多大的作用，取决于你是否能够意识到它们与评估之间的联系，并有意识地去建立和完善这种联系。
【DMEL每周一问】是社会资源研究所（SRI）推出的关于“设计-监测-评估-学习”体系应用于公益组织提升有效性的互动平台。该专栏以一问一答的形式，为大家介绍SRI在DMEL方面的理解和经验，每个星期二与大家见面，社会资源研究所官方微博、微信、博客同时推送，我们期待您参与“DMEL每周一问”栏目，对每一期栏目内容进行回复和评论，提出关于DMEL的困惑、疑问和不同见解，我们将对这些问题尝试作答，也期待更多人参与作答。
