原文来自：Ten Reasons Not to Measure Impact—and What to Do Instead
由美国学者 Mary Kay Gugerty和Dean Karlan发布于《斯坦福社会创新评论》1，深德团队进行了翻译、缩减和归纳。
何 为 影 响 力 评 估？
影响力评估是衡量社会问题解决方案有效性的重要工具，但只有在适当的情况下，它才是一项有意义的投资。同时，公益组织必须建立起一个内部机制，定期收集、分析合适的数据，并用于指导项目执行和项目优化。
图片来自网络
同样的一块钱，你更愿意用来帮助一个孩子，还是用来支持一个理论上能够在几年后帮助更多孩子的研究？
要做这样一个选择，既有复杂性，也有不确定性。但是不可否认，如果这项研究真的可以帮助更多孩子，是很有吸引力的。
不过有一件事可以肯定：如果这个研究很糟糕，对孩子没有任何帮助，那么支持这各个研究的每一块钱都是浪费的。
好的影响力评估建立在科学严谨的设计基础之上，能够对知识、政策、实践起到促进作用。例如，某公益组织通过在社区提供低价的生活用品，提高贫困家庭的健康水平。评估显示，由于该项目的介入，儿童死亡率降低了27%。这个数据说服了政策制定者、执行伙伴和出资方，不断复制该模式，使得受益人群扩展到500万人。
然而，也有大量的资金和时间浪费在构思不当、设计不当、实施不当的影响力评估上。有的研究样本太少，或对建立评估的因果关系和优质数据的关注不够，评估结果可以忽略不计。也有的项目没有很好地引入相关利益方，导致有用的结果没有得到利用。
由此带来的另一个问题是，项目人员的投入，项目服务的使用情况，受益人对项目执行的反馈，诸如此类能够帮助项目和机构不断优化的监测数据，往往在追求影响力评估的过程中被忽略或者掩盖了。当然，在一定程度上，这是可以理解的，毕竟影响力才是终极目标，而且确实有人会把管理目标和影响力目标混为一谈（比如说，“服务了5000人”并不是影响力）。
因此，对执行方来说，有必要建立数据收集的策略和机制，以适时地开展影响力评估，证明项目与结果的关系，以及为决策者提供及时的运营数据支持。对资助方来说，需要明确执行方有责任建立适合的数据收集机制，且只有在时机成熟的时候才要求他们开展影响力评估。
接下来，我们将列出不建议开展影响力评估的一些情况，并提供相应的替代性解决方案，以供公益组织在开展评估工作时进行参考。
1:评估方法不恰当
好问题，错方法
这里有一些问题，是项目执行机构经常需要回答的
其中一些问题可以通过数据来回答，有的问题很难回答。最关键的是，解答这些问题都并非影响力评估的范畴。
可以考虑的另一种选择
在解答这些问题时，数据收集和分析需要精确地聚焦所关注的问题。比如，了解满意度需要反馈性的数据，提升项目的投入产出比需要分析不同项目点、不同产品或服务的成本情况。以上都是很重要的项目监测数据，但绝不是影响力评估。
2:评估时间不恰当
不恰当的评估时间可以分为两类：变革理论不成熟，项目执行不力。
变革理论不成熟
一个经过科学论证的变革理论对于公益项目是必须的。未经检验的变革理论可能包含错误的假设。例如，项目取得预期成果可能有赖于每个参与者都完成项目当中的培训部分，我们首先需要回答的问题，他们都完成了吗？不错的管理数据就可以回答这个问题。又比如说，项目的另一个普遍性假设就是服务是有需求的，那么就需要一个好的调研去验证需求。
可以考虑的另一种选择
如果变革理论还未形成，那么在评估影响力之前需要首先明确项目的变革理论，检查项目成功需要具备的假设条件，然后循序渐进地实施，并在实施过程中收集监测数据。当项目的变革理论不成熟时，开展影响力评估还为时过早。比如说，如果一个项目是为准妈妈提供儿童发展、健康、营养方面的知识，以提高孕期保健和儿童早期的发育水平，那么我们首先应该监测准妈妈是否会真的参加培训，以及实践培训中教授的一些做法，在不确定这个信息的情况下就进行影响力评估是没有意义的。
项目执行不力
即使项目的变革理论比较成熟，且已经初步检验了关键假设，项目执行也可能会遇到挑战。对于一个执行不力的项目来说，很难解释缺少影响力的根源是什么：是执行机构能力不足？还是合作伙伴选择不当？亦或外部环境造成的？无论如何，当项目执行没有完全准备好时，进行影响力评估并不是个好主意。
可以考虑的另一种选择
收集监测数据，并用它来提升项目的实施。
3:评估可行性不高
有两类情况可能会限制评估的可行性：资源有限；间接影响难以识别，但对变革理论至关重要。
资源有限
资源有限在以下两方面决定影响力评估的结果：
1）项目规模太小
2）资源太稀缺，无法进行高质量的评估。
如果项目规模很小，则没有足够的数据来检测影响力。如果没有足够的资金，评估可能会由于样本太小，导致最后结论不准确。因此没有足够的资源来做一个高质量的评估时，可以搁置影响力评估。
可以考虑的另一种选择
如果项目规模较小，不要试图强行进行影响力评估，可以考虑参考现有行业知识，或者是否有类似的评估结果，亦或是否有相似环境下的同类项目。这些文献研究或许也可以帮助我们思考如何提升现有项目的有效性。此外，可以考虑缩小数据的范围以控制成本。以一个储蓄项目为例，知道项目对于健康和教育开支、农业和创业投资的作用固然是好的，但是即便单纯看一看储蓄的增长情况，其实也足以说明项目的成效。
间接影响难以识别，但对变革理论至关重要
准确测量间接影响对于评估一些项目的最终影响力至关重要，不可忽视。以一个为在校儿童进行驱虫的项目为例，如果仅仅比较干预组和对照组儿童的健康情况，会发现没有产生影响。但是值得注意的是，原本孩子们光脚在操场上玩耍会引起相互传染，这种间接影响会掩盖项目的实际成效，即使项目很大程度上控制了疾病的扩散。如果我们不测量这种间接影响，那就无法获得项目的真实影响力。
可以考虑的另一种选择
在测量间接影响时，先要回顾现有的研究和理论，以评估间接影响的重要程度。如果它是重要的，有两种方法可以处理：第一种，可以在评估设计中囊括间接影响的测量，例如，通过设置两个对照组：一个间接接触到干预措施，另一个完全不接触。第二种，收集与间接影响相关的数据。例如，测量孩子是否有过光脚在操场的经历、当时还有谁在，等等，以估计间接影响的路径和范围。
4:缺少评估价值
答案已经存在，不产生普适性的知识
在某些项目中，关于影响力的答案已经存在于其他研究中，因此缺少影响力评估的必要性。此外，影响力评估一般要回答“是/否”和“为什么”的问题，即影响力评估要回答某个项目为什么有效，而不仅仅是它是否有效。如果不能提供关于“为什么”问题的普适性知识，那开展影响力评估的价值就不大。
可以考虑的另一种选择
在以上情况下，一个清晰的项目变革理论应该已经足以说明为什么某些活动有效，可以把更多的重心放在“执行”上，运用项目监测工具看看项目是否按照原计划开展了。
结论
综上所述,影响力评估固然重要，但是不应该盲目追求，只有在合适的条件下，经过科学论证、深思熟虑的评估才值得投入。
参考文献：
1：Mary Kay Gugerty & Dean Karlan，Ten Reasons Not to Measure Impact—and What to Do Instead
*免责声明：本站文章图文版权归原作者及原出处所有 ，文章内容为作者个人观点，并不代表本网站。如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。
