编者注： Eric Ries是一位咨询顾问，他同时还是创业书籍“ The Lean Startup”的作者，其Twitter账号是@ericries.
最近有人请我对开发创新产品的早期初创公司进行研究，我问他们是否觉得自己的产品正在越做越好，答案不约而同都是肯定的。
然后我会问到：“你们怎么知道呢？”他们的回答通常很标准：他们会称自己为产品增加了功能、提高了质量、执行了产品的设计路线。用户数量、收入和使用量每个月都在上涨。依次判断，他们的产品正在走向正轨。
我会进一步问到：如果产品开发团队休假一个月，公司会怎样发展呢？销售团队会继续签到新用户，口碑相传会让网站的流量进一步增加。如果产品开发团队加班加点和外出休假的结果是一样的，那么他们真的在将产品越做越好吗？其效率足够高吗？
许多产品团队并不了解自己使产品越做越好还是越做越差，所以许多消费者在需要升级或更新之前都会肝颤一下。然而，即使产品在越做越差，这些公司依旧可以实现快速增长，这主要是因为网络效应不断强化、公司在其他渠道获得宣传或者所属产业正在快速成长。
我曾经成立过一家初创公司，在一段时间内我们很重视新用户到付费用户的转化率，虽然新用户的数量逐日攀升，但断代分析还是揭示了问题的存在。我们将用户分成不同群体，把每日新加入的用户分为一组，每日与前一日的对比让我们十分郁闷，其转化率基本完全一致，这种情况持续几个月没有变化。
虽然期间我们在不断地“完善”产品，但消费者行为毫无变化还是显示出问题所在，我们并没有将产品越做越好，而是将其越做越差了。解决这种问题的办法就是采用更加严格的衡量指标，而不是用那些漂亮的数字自欺欺人。
大多数人会想到A/B测试，这种方法直接应用到产品开发会更加有效。在我的新书中，我举了很多转型采用严格指标的公司作为例子，比如在线教育公司Grockit，他们采用A/B测试来检验新功能时惊奇地发现，大多数新功能完全没法改变消费者行为。
由于新功能通常会使产品使用更加复杂，因此必须能够为消费者提供足够的好处才算好功能，新功能并不存在“中性”，“毫无变化”就是更差了。
当产品变更没有实际作用时，我们应当勇于承认，这是让我们认识自己、了解消费者的好机会。如果我们认为自己在完善产品，而消费者并不以为意，那么就需要我们来进行一些新实验来找出问题所在了。
产品本身就是实验
消费者并不了解自己的需求。有很多心理学研究显示出，人们无法准确预测自己未来的行为，所以询问消费者“如果产品有这些功能，你们会买吗？”、“如果我们这么改变产品，你们感觉如何？”就是浪费时间，因为他们根本不知道。
实验并不等于将产品推向市场，直接看市场的反馈。因为市场是必然有反馈的，即使市场反响很坏，也可以从各种分析曲线中找出一条向右向上的斜线。就像前文提到的，这些虚荣数据可能一直向好，而你却在一直毁着自己的产品。
科学需要对结果有预测和假设，进而将预测结果和实验实际结果进行对比，这就是眼光对于初创公司十分关键的原因。我们需要预测消费者遇到产品后会有什么反应。
