社会资源研究所（SRI）自去年十月开通【DMEL每周一问】专栏至今已有一年之久，时逢第50期，我们也吸取DMEL的思维，反思这个栏目的效果，计划于近期对专栏进行改版。第50期将分为上下两期汇总之前所有文章的精华，供读者对1-49期内容进行总结和概览。
26 如何开发出好的成功指标？
张帆
好的成功指标，要满足以下几点：衡量的是“目标的实现”；能“看到”；能“反映”；个数不要太少，也不要太多；标准不要太低，也不要太高。开发指标，绝不能是胡乱地将项目建议书中的相应空白填满。好的指标，能够度量我们的工作成果，反映问题解决的程度；而开发出好指标的过程，还可以提醒我们要从问题中来，不可偏离目标；敦促我们建立基线，实事求是地工作；鼓励我们不断从已有成果、前沿研究中汲取营养。
郭冉
对于没有预期目标的项目而言，评估的工作内容在于找出项目干预对现实情况实际产生了什么影响，并尝试描述这种影响是如何产生的。它本质上也是对项目逻辑进行梳理的一种方式，其结果直接贡献于下一轮的项目设计，有助于明确项目目标。它在以下两个方面与有目标的评估不同：1. 提问的方式：在有目标的评估中，评估只需要回答项目预期目标是否实现了，问题都是围绕预期目标来设计。对无目标评估而言，除了时间上有所限定外并无其他既定的答案范围。2. 信息收集对象：无目标评估对项目的影响保持开放的态度，所收集的信息实际上包含了有目标评估中的预期变化和未预期变化，而未预期的变化很多时候是在非目标对象身上发生的。因此无目标评估除了收集最终受益人的反馈信息外，还需要收集其他可能受项目影响的人群的反馈信息。
28 什么是监测？
李志艳
监测是发生在项目执行过程中的一种持续性管理行为，它搜集并定期报告关于项目投入、活动、产出以及近期成果等信息，以便为管理层、执行团队以及其它核心利益相关方提供项目策略及执行决策的依据。监测具有以下特征：监测发生在执行环节，因此只能收集在执行阶段显现的信息；监测是一种持续行为，不是偶然或者阶段性的，它伴随着项目执行的全过程；监测发生在组织内部；监测是一种管理行为，是项目执行团队及管理层了解项目进展，避免风险以及抓住机会的一种手段；监测要能为决策所用。
29 这些成果都是你的项目带来的吗？
张帆
归因可以分为三类：一是不管干预活动是否发生，都会出现的成果，称为“无谓因子”（Deadweight）。二是干预活动的发生，只是改变了成果出现在哪个目标群体身上，而成果的总量不变，称为“转移因子”（Displacement）。三是成果的发生，是由于其他组织的干预活动带来的，称为“归因因子”（Attribution）。排除了这些之后的成果，才是你的项目所产生的成果。归因工作给我们带来的重要启示是：追求更精细的有效。探寻真实时，就有发现“自己并不那么重要”的风险，但考察真实的成果，不是为了说明自己有多重要，而是找到那些重要的、而又被忽略了的事情，继续去做。
高瑞
信息数量的多寡和其价值并没有必然联系。即便信息搜集与项目执行过程并行开展，但高质量、有价值的信息获得依然需要额外的人员和时间投入。越多越好的倾向也许为我们建立了近乎完美的信息搜集体系，但繁杂的条目同时也破坏了项目监测的趣味、效度和价值，使过程流于形式。首先要回到信息搜集的本源：我们期望通过这些信息解答什么问题，为什么决策做参考呢？聚焦要回答的关键问题，我们再从指标与关键问题的相关性、信息的价值等角度重新审视原有的指标体系，删减、合并那些可有可无的指标。指标多少并不重要，重要的是指标衡量的信息是不是我们真正关注的，对于我们是否有价值。
31 方法背后的逻辑你了解吗？
郭冉
项目参与者尤其是受益人的反馈，对于项目的改进极为重要，于是在项目完成后，大家都利用定性、定量等各种方法去收集信息，但结果往往是拿到一堆反馈却不知如何利用，原因在于大家对这些方法背后的逻辑认识不清楚。我们相信，项目活动对目标对象是有影响的，目标对象在项目期内会发生某些变化，而这些变化至少有一部分是由项目活动造成的，同时我们也承认，这些变化也可能有其他原因，因此有些人变化明显，有些不那么明显。根据这一逻辑，我们知道在信息收集时：第一，我们需要让目标对象将自己的变化与项目活动联系起来；第二，我们可以通过提取“显著”的变化，更经济地说明项目成果；第三，我们可以主动去发掘更多促进目标对象出现预期变化的原因，考虑将有利的因素纳入项目活动，排除或控制阻碍因素。
张帆
麦肯锡公司的社会部门为资助者、非营利组织开发的——设计“学习型评估（Learning Driven Assessment）”评估计划的三步法：第1步，厘清目标：他们开发的4*6矩阵，囊括了社会领域的几乎所有的项目目标类型，实践者做评估计划的第一步，就是深刻理解自己项目在上述矩阵中所处的位置，以判断这一时刻的关键目标是什么，进而确定相应的评估学习问题；第2步，选择具体指标：定位之后，我们需要将框架性的学习问题转化为针对自己项目的学习问题。转化至少有两个层面，一是针对你的具体项目，二是针对你项目面临的具体挑战；第3步，考虑优先级，完成评估计划：麦肯锡认为判断优先级的标准有四方面：价值观与使命、相关性、可信度、可行性。根据这四方面的考虑，修订第2步中确定的学习问题、评估指标和信息收集方法，就完成了学习型评估的评估计划的设计工作。
33 如何检验项目活动与目标是否匹配？
张婷婷
麦肯锡把所有项目分为6种类型（知识开发、能力提升、提供产品、行为改变、体系搭建、政策倡导）作为横轴、将解决方案所处的4个阶段（识别、设计、试点、推广）作为纵轴，横纵轴一对一交叉所汇集形成的方框则呈现出所有公益项目所属的24种目标类型，称为4*6目标矩阵。通过以下四步，让项目目标与活动相匹配：Step1,罗列出你的机构已有的项目及其目标；Step2,对应4*6目标矩阵，分别对项目活动与目标进行检验并列出结果；Step3,通过“活动VS目标”2*2象限分析检验结果，判定你的项目所属的象限；Step4,进行目标或活动的调整使之相互匹配。
34 如何说清楚你的评估需求？
郭冉
由于时间、精力、专业性及客观性等多方面的原因，评估工作常会委托给项目团队之外的人来做。但拿到评估报告后，往往发现不能满足自己的需求。这一问题很大程度上，是由评估需求表达不清晰所造成的。因此，为保证评估结果能够达到预期的使用效果，说清楚自己的需求就显得非常重要。而评估需求的核心无非是以下三方面内容：1. 评估结果使用者；2. 评估目的；3. 评估问题。需要注意的一点是，在明确评估需求的过程中，除了委托方和评估团队，还要纳入不同相关方的意见，让其参与其中。尤其是在委托方并非是最终评估结果使用者的时候。了解评估使用者的意见，在评估设计中纳入他们的声音，评估结果才可能为他们所接受并使用。
高瑞
项目计划书≠项目设计，项目设计应回归问题分析。项目计划书只是资助者和NGO沟通的一个载体，它不是项目活动合理性的解释文本，而是项目设计过程的集中呈现。通过这个载体，资助者得以了解项目设计的逻辑——“问题界定—》预期目标—》执行策略—》活动规划”及其所需资源投入，从而为决策做参考。作为项目申请者，我们就更要坚守“社会问题解决方案探索者”的定位，相比于资助方，我们更需要回答自己“为什么要做”。
36 美国军队怎么学习？
张帆
美军中有一支特殊的队伍被称为OPFOR，他们能力非凡，原因在于使用了一种从已有行动中总结经验，并用于提升未来表现的方法——“事后回顾”（简称AAR）。继1998年壳牌石油在理事会成员之一——一位退役将军的建议下开始使用AAR之后，它就开始广泛被应用于其他领域。AAR分为：1、计划；2、简要反馈；3、演练；4、AAR会议；5、知识分享。AAR的基本原则：经验的第一、以及最重要的受益人应是那些总结经验的人；AAR的过程必须从项目开始时开始；总结出的内容必须与未来行动明确相关；领导者应与大家一起进行学习。AAR不是一种会议、一份报告或是一次事后检讨，它能帮助组织在多变的环境中，获得如何学习总结的能力，而这比任何一条总结出的经验都更有价值。
37 项目监测，监测些什么？
李志艳
项目都有一系列活动组成，这些活动经由一定的送达系统递送到目标人群。项目活动需要必备的后勤支持系统，包括资金、外部关系、执行团队、项目管理等，而项目又都在某种社会经济以及社区环境开展。我们依此分析出项目需要监测的7个主要方面分别是：目标人群、传达系统、项目活动、近期成果、支持系统、外部环境、建议与反馈。每家机构可以根据项目的特性以及机构的资源和能力，量体裁衣选择出自己监测的重点。
38 为什么监测？
李志艳
监测是与项目执行平行的过程，它站在项目之外看项目执行，本身耗时耗力，因此它必须具备某些功效才有意义。整体说来，监测有四种功用：1. 增进问责与透明；2. 改善设计；3. 提升拥有感；4. 为评估打下基础。
39 苹果如何讲述变化故事？
高瑞
在苹果公司官方网站“Apple与教育”的子页面，有一个“真实案例”页面，每一个案例呈现上都包括启发、实践、成果三大部分，分别呈现项目缘起、学生/教师/学校的基线概况、实施过程，和教学成果因此发生的改变。我们可以看到，有两个要素缺一不可：1）基于证据的服务对象改变，2）这种改变和我们服务/项目的关系。只有如此，我们才可能呈现出一个言之有物且生动的改变故事。我们需要走近服务对象，与他们有更紧密的互动，才能及时、充分地感受到他们的变化。如管理学大师德鲁克所说，一切成果都存在于组织之外。因此，对于一切成果的感知也一定在组织之外。
40 什么是评估金字塔？
李志艳
评估金字塔自下而上依次是：需求评估、设计评估、过程评估、成果评估、影响评估、效率评估。金字塔的不同层次，评估所需要解决的关键问题也不一样。在评估金字塔中，下一层次是上一层次的基础，如果下一次层次不牢靠，上次层次的评估则一般没必要开展。首先，针对需求是所有项目的基础。其次，如果项目设计的不好，那么考察项目执行是否符合项目设计就没有意义。再次，成果评估是影响评估和效率评估的基础。然后，本处的影响评估采用的是比较严格的定义，指的是归因于该项目的，纯粹由项目带来的 “净成果”。最后，效率评估，也即人们经常谈论到的“社会投资回报率”，在所有评估中位列最顶端。
41 项目设计时，你是否忽略了假设？
李志艳
变革理论中非常重要但也十分困难的一步，就是识别隐含假设。所谓假设，是指它不一定是“真”的，但设计项目却以其“为真”为前提。如果假设并不为真，整个项目从理论到执行都将沦为失败。假设共分为三类，第一类：目标的实现要依赖于其下属的几个目标或行动，这其中往往暗含着某些假设；第二类：关于总体变革理论的假设；第三类：关于外部环境的假设。假设像是无形的手，隐藏于项目设计之中。虽然我们的项目并不针对“假设”直接开展工作，但它们是否成立却直接影响了项目的成败，因此，我们需要觉察这些隐含的假设，并时刻保持着对它们进行检验的意识。
42 美国基金会怎么做评估？
张帆
近年来一些领先的基金会已经重新界定了评估在慈善领域的作用，并主要在以下五个方面开展了新的实践：1、评估关乎提高改进，而不仅仅是提供证据；2、评估关乎如何贡献于社会影响，而非归因；3、评估关乎与他人一起学习，而非独善其身；4、不仅仅是评估单个项目；5、评估关乎拥抱失败。
43 什么是欣赏式探寻？
熊春妹
做社区工作的时候，有一种方式是欣赏式探寻。通过确认一个社区过去的最好时期，侧重于社区积极的方面，是这种方式的基本理念。欣赏式探寻帮助人们聚焦在他们所拥有的，他们所取得的以及他们日常生活中产生的正面影响。它在承认问题可能存在的同时，以发现社区中存在的正面的力量为焦点。这是比较激励人心也比较有赋权性的。欣赏式探寻在运用中一般包括四个步骤：发现、梦想、设计和达标。
44 什么是变革理论？
李志艳
变革理论，顾名思义就是一整套关于如何让变化发生的理论。它从本质上说是一种逻辑推演，是相对宏观的超出操作层面的关于如何解决某个社会问题的推理。变革理论不是实践，而是一种头脑中或纸面上的构思，正确与否则有待于实践去检验。为了解决某个问题，为了让变化得以发生，至少应回答四个关键问题：目标对象所面临的问题是什么？原因是什么？期待目标对象发生什么变化？为了实现这些变化需要做什么？项目或机构是在什么样的环境下运作，对外部环境、行业趋势、合作伙伴甚至目标对象有哪些假定？如何衡量和判断期望的变化切实发生了？对这些问题的回答构成了变革理论的主体内容，它们分别对应问题、目标、指标、干预、假设五项内容，称之为变革理论五要素。
45 如何使学习更有效？
对于组织学习，我们的目的不单是探索未知，让大家知道的更多，更重要的是能够建立学习和工作的联结，了解大家工作的实际情况，辨别在哪里、用什么方法，才能让我们的决策和行动更有效。我们将这个过程分解为以下几个关键步骤和问题：1）检验：a)实际发生的情况是什么？b)我们曾经的预期是什么？c)实际与预期有怎样的差距？2）反思：d)从这样的差距中，我们学到什么？e)对于我们下一步决策、行动有怎样具体的影响？3）跟进&进一步检验：f)制定改进计划，并进一步跟进、检验改进效果：改进效果如何？4）一般化：总结经验与教训，形成知识积累。
46 如何让改变他人的策略更有效？
郑聪
改变的发生往往以遵从行为主体自身的变化规律为前提。开始行动之前先问问自己：你的直接工作对象是谁？你希望TA发生什么样的变化？你知道什么是TA产生这样改变的动力与条件吗？在真实的情境中把握工作对象的行为逻辑，基于其变化规律设计有针对性的工作策略。如此这般，项目目标达成的可能性就会大大提升。改变从理解开始，这一点或许对所有的公益实践者都能有所启迪。
47 如何做培训评估？
高瑞
柯氏四级培训评估模式（Kirkpatrick Model），主张从反应(Reaction)、学习（Learning）、行为（Behavior）和结果（Result）四个层面上对培训开展评估。具体是：1. 反应层：满意度测量；2. 学习层：在多大程度上实现知识扩充、技能提升或态度改变；3. 行为层：在多大程度上实现行为转变；4. 结果层：项目或组织的绩效有哪些改变。
48 重新发现监测
李志艳
最近五六年来在公益界，评估备受关注，监测则颇受冷落。但如果在真实情境中，仔细考量如何推动有效公益，我们就会发现，监测的价值被大大低估了。在资源有限的情况下，我们应该重视监测的价值。如果资源充分，监测和评估可以结合起来，当然能更系统性的记录和呈现项目的社会影响。对公益评估咨询机构而言意味着，需要将监测和评估两种业务区分开。一种是协助公益组织开发可自我运作的内部社会绩效监测体系，此体系的目的是快速学习和反馈，以改进项目设计和执行；另一种是针对较为稳定的项目开展中长期社会影响的归因式评估，从而为项目规模化或者战略升级做准备。
49 如何写好监测报告？
张婷婷
监测报告包括项目执行过程中的所有进展/阶段性报告及结项报告，不仅要满足项目管理决策的信息需要，也要满足学习改进的需要。首先，在内容上，可由以下四个方面进行延伸，包括：1．进展及阶段性成果；2. 困难挑战与经验学习；3. 下一步计划及可改进之处；4. 预算与实际支出情况。其次，在原则和技巧上，可考虑：1．避免术语、善用图表、报告简明扼要；2．根据报告使用者来决定内容侧重点。第三，敢于尝试：用“变化故事”（Story Of Change）体现项目成果。
【DMEL每周一问】是社会资源研究所（SRI）推出的关于“设计-监测-评估-学习”体系应用于公益组织提升有效性的互动平台。该专栏以一问一答的形式，为大家介绍SRI在DMEL方面的理解和经验，每个星期二与大家见面，社会资源研究所官方微博、微信、博客同时推送，我们期待您参与“DMEL每周一问”栏目，对每一期栏目内容进行回复和评论，提出关于DMEL的困惑、疑问和不同见解，我们将对这些问题尝试作答，也期待更多人参与作答。
