编者按：人们常常对人工智能能否发展出比人类更聪明的智慧而进行辩论。本文作者François Chollet在“The impossibility of intelligence explosion”一文中论述了智能爆炸的不可能性，在他看来智能的发展是一个经由环境、文化、大脑等共同进化所合力完成的过程。
1965年，I.J.古德首次提出“智能爆炸”概念，它与人工智能有关：
让我们将那种超级智能机器（ultraintelligent）定义为智力远超任何人类的机器。因为机械设计是这个超级智能机器的其中一种功能，所以它可以设计出更优秀的机器；毫无疑问，这将是一次将人类智慧远远被甩在后面的“智能爆炸”。假如这部机器足够顺从而告诉我们如何控制它，那么第一个超级智能机器也即是人类所需要的最后一项发明。
几十年过去了，能够使“超级智能”突然崛起而人类将意外终结的“智能爆炸”概念在人工智能领域内占据了主导地位。著名商界领袖将其视为一个比核战争和气候变化更为严重的重大风险。机器学习领域的研究生都赞同这一观点。2015年针对人工智能研究人员的电子邮件调查显示，有29%的受访者认为，智能爆炸“很可能”或是“极有可能”发生。另有21%的人认为这种可能性需要严肃对待。
而其最基本的前提是，第一个“种子人工智能”在不久的将来腾空出世，其解决问题的能力会略高于人类。这个种子人工智能将开始设计更好的人工智能系统，通过递归式的自我完善循环在短时间内以数量级的方式超越人类智慧，将其留在尘埃之中。这一理论的支持者也将智能视为一种超级力量，如同科幻电影《超验骇客》中所展示的那样，赋予其持有者塑造生存环境的近乎超自然的能力。因此，超级智能意味着近乎于无所不能，并将对人类的生存构成威胁。
这一科幻式论述引发了关于人工智能风险与监管的必要性的危险且误导性的公众辩论。在本篇文章中，我持智能爆炸不可能发生的观点，智能爆炸的概念来自于对智能本质与递归式自我完善系统行为的深刻误解。我尝试将自己的观点基于对智能系统与递归系统的具体观察之上。
一种源于对于智能误解的缺陷推理
智能爆炸背后的逻辑，与20世纪60年代和70年代兴起的人工智能理论相似，是诡辩式的：人们以一种完全抽象的方式考虑“智能”，并不联系前后情境，也忽略了关于智能系统与递归式自我完善系统的有效证据。我们不一定非得如此。毕竟，我们身处一个充斥着智能系统（包括人类自己）和自我完善系统的星球之上，因此我们可以通过简单观察并向其学习找到解决那些即将到来的问题的方法，而不是提出无证据的循环推论。
为了讨论智能以及可能的自我完善问题，我首先需要介绍必要的背景与情境信息。当我们在讨论智能的时候，我们在谈论什么？准确定义智能本身就是一次挑战。有关智能爆炸的叙述是将智能等同于由目前人类大脑或未来电子大脑所代表的个人智能代理用以解决一般问题的能力。这并不是关于它的完整描述，所以我将以这一定义为一个切入点，并展开论述。
智能是情景式的
关于智能爆炸理论的第一个问题是它没有认识到智能必然是更广泛系统的一部分，应该视智能为“罐子里的大脑”，它可以在某种条件下独立随意地使用。大脑只是生物组织的一部分，里面不存在任何内在的智能。除了人的大脑之外，人的身体和感觉，人的感觉运动能共性，也是大脑中的基本组成部分。人所处的环境是大脑的基本组成部分。人类文化是思想的基本组成部分。这些都是人类所有思想的来源之处。因而不能把智能从它所表达的环境中分离出来。
尤其需要提到，不存在“一般”智力这种东西。在抽象层面上，我们通过“没有免费午餐”定理知道这一点，意即在没有实际情境的语境下，没有一种算法比随机猜测的效果好。如果智能是一种解决问题的算法，那么它应该关于处理一个特殊问题。更具体的说，通过经验观察我们可以了解到所有智能系统都是高度专业化的。我们今天所创建的人工智能系统基于超专业极其细化的任务，比如玩围棋，或者是把图像归类为10000个已知类别。章鱼的智能是专门用来处理章鱼的问题。人类的智能是专门用来处理人类的问题。
如果我们在章鱼的身体里放入一个新鲜的人类大脑并将其放归海底，情况会如何呢？它能学会使用它那八条腿的身体吗？它能活几天？我们无法完成这个实验，但是我们知道人类与动物的认知发展是由硬编码固定式的、先天动力所驱动的。人类的婴儿天生就有一套先进的反射行为和天生的学习模板，从而促使其早期的感觉运动的发展，这与人类感觉运动空间的结构有着本质的联系。大脑拥有硬编码就相当于有了一个可以抓东西的手，一个可以吮吸的嘴巴，一个可以用来视觉跟踪的基于头部移动的眼睛，这些预先置入的概念需要通过人类的智能来控制身体。它甚至由乔姆斯基令人信服地论证了，人类的高级认知特征，比如语言能力，是天生的。
同样，人类可以想象章鱼有着一套自己的硬编码认知原语用来学习如何使用自己的身体，并在章鱼的环境中生存。人类的大脑在人类的生存条件下极其具有特殊性，这是一种天生的专业化，并可能延伸到社会行为、语言与常识领域，而章鱼的大脑同样也非常专注于章鱼的行为。人类婴儿的大脑即使被正确地移植到章鱼的身体里，也可能无法充分控制其独特的感觉运动空间，并且会很快死掉。
如果我们将一个人的大脑和身体放入一个我们不了解的环境中，会发生什么呢？被一群狼养大的毛克力，长大后会比他的犬类兄妹更聪明吗？还是会像我们一样聪明？如果我们用小爱因斯坦来代替小毛克力，他最终会致力于发展宇宙大理论吗？我们的经验性证据相对缺乏，但是就目前所了解的而言，脱离人类文化环境而成长起来的孩子并没有发展出任何人类智慧。幼年时期开始在野外长大的野生孩子们实际上成为动物，并且在回归文明之后也无法习得人类的行为和语言。在南非，被猴子抚养长大的Saturday Mthiyane五岁时被人类发现，他在成人后也一直表现得像猴子，一直用四肢跳跃行走，没有语言能力并拒绝吃熟食。那些至少在某些性格形成时期与人类进行过接触的孩子，在再教育方面的运气会稍好一些，尽管他们不能完全掌握人类的机体应用。
如果智能从根本上来说与特定的感觉运动方式、特定的环境、特定的成长过程与特定的待解决问题有关，那么人类就不可能仅仅通过调整大脑来武断地增加替代型智能，好似通过给传送带提速来提高工厂生产力一样。智能的扩张只能来自于思维、感觉运动方式与环境的共同进化。如果说人的大脑是判断解决问题能力的决定性因素，那么那些智商远远超过正常范围的人就会生活在正常情况之外，他们会解决那些之前无法解决的问题，并将接管世界，就像某些人害怕比人类更聪明的人工智能会做的那样。而事实上，拥有超长认知能力的天才通常生活在平庸的环境中，很少有人去做那些引人注目的事情。在特曼里程碑式的“天才遗传学研究”中，他指出，那些特别有天赋的实验对象，大多会追求“像警察、海员、打字员和档案管理员一样较低下”的职业。目前大约有700万人的智商高于150，他们比其余的99.9%的人类有更好的认知能力，但是大多数不是你在新闻里读到的那些人。在那些真正想要征服世界的人中，几乎没有人有着过人的才智。据说，希特勒高中辍学，两次进入维也纳艺术学院的尝试均失败了。那些最终在困难问题上取得突破的人，是在环境、性格、教育与智力的综合基础上完成突破的，他们站在巨人的肩膀之上。闪烁着智慧光芒的成功是在恰当的时间拥有解决重大问题的能力。这些突出问题的解决者大多都那么聪明，他们的技能似乎只针对某一专业领域，并不会在自己的领域之外表现得超过平均水平。有些人获得了更好的成就更多是因为他们有更优秀的团队，或者是有更多的勇气和职业道德，或者是有更大的想象力。有些人只是碰巧生活在正确的情境中，在合适的时间进行恰当的交往。智能是基本情境。
我们身处的环境严重限制了我们的个人智能
智能不是超级力量，拥有非凡的智能本身并不能使一个人在所处的环境中拥有超乎寻常的力量。然而，有充分的证据证明，虽然具有争议性，但是用智商可以衡量原本的认知能力。这在特曼的研究中首次得到证实，后来又相继被其他人证实，如2006年一项大规模研究发现，智商与社会经济层面上的成功之间存在着明显的相关性。因此，一个智商为130的人在统计学概率上比智商为70的人更有可能成功地解决生活中的问题，虽然在个人层面上无法保证。但是事实却是如下情况：这一相关性在达到某一点之后就会失效。没有相关证据表明智商为170的人比智商为130的人更有可能在自己的领域取得更大的成就。事实上，许多有影响力的科学家智商往往在120-130之间，费曼为126，DNA的共同发现者詹姆斯·沃森为124，这处于众多平庸科学家的范围值之内。与此同时，今天仍有大约5万人的智商达到170或是更高，而其中有多少人能像沃森教授一样解决了非常重要的问题？
为什么原有的认知能力的实际效用会停滞在某个临界值上呢？这指向了一个非常直观的实时：取得高成就的确需要足够的认知能力，但是目前解决问题的瓶颈并不在于潜在的认知能力本身，瓶颈在于我们所处的环境。那些决定了我们的智力表现如何的环境因素限制了大脑能做什么的可能性，包括我们能长成为多么具有智慧的人，如何能有效利用所开发的智能，以及解决问题的能力。所有证据表明，我们当前的环境，就像过去20万年包括史前时期的整个历史环境一样，不允许高智商的个体充分开发和利用自己的认知潜能。1万年前，一个具有高潜力的人类在低复杂度的环境中长大，会用少于5000个单词说着一种语言，从来没有人教他读或写，接触的知识有限，受到的认知挑战也很少。对于大多数当代人来说，情况可能会稍微好一些，但是没有迹象表明我们的认知潜能已经超出了我们所生存的环境。
“不知怎么的，我对于爱因斯坦的大脑重量与复杂程度并不感兴趣，而对于那些怀有同样天赋的在棉田和血汗工厂里工作与死亡的人们更感兴趣。”—斯蒂芬·杰·古尔德
在丛林中长大的聪明人不过是无毛猿类。同样，将一个拥有超级人类大脑的人工智能放置在一个现代人的身体里，很可能不会比聪明的当代人有能力激发出更大的能力。如果这种情况可能出现，那么拥有极高智商的人类的个人成就将在统计学意义上表现得超乎寻常，他们会实现对环境的强力控制，并能够解决现实实践中并不存在的重大的突出问题。
大多数人的智力并不是凭借我们的大脑，而是在我们的文明中具象化
问题不仅仅是关于我们的身体、感觉和环境在多大程度上决定了大脑的智力发展程度，关键是，我们的生物大脑只是我们整个智力的一小部分组成。认知修复术外在于我们，它通过人类大脑而强化解决问题的能力。智能手机、笔记本电脑、谷歌搜索、你在学校里获得的认知手段、书本、其他人、数字符号、编程。在所有认识修复逻辑中，最基本的是语言本身，它本质上是一种认知操作系统，没有它我们就无法思考。这些东西并不仅仅是被灌输进大脑然后被使用，这实际上是一种外部认知过程，通过时间、空间以及更为重要的个性等非生物方式来运行思维和寻找解决问题的方法。是这些认知修复术而不是我们的大脑，在我们认知能力中扮演着重要角色。
我们身体本身就是工具。一个个体从物理学意义上来说几乎是无用的，因此，人类只是两脚猿类。是那些经过数千年知识与外部系统集体积累的被我们称之为“文明”的东西使我们超越了动物的本性。当一位科学家的研究取得进展时，他们大脑中所运行的思维过程只是这个方程式的一小部分，整个解决问题的过程将扩大至计算机、其他研究人员、论文笔记、数学符号等范围。他们之所以成功是因为站在了巨人的肩膀之上，而自己所做的工作只不过是跨越了几十年，跨越了成千上万的人而走完了解决问题的最后一个子程序。他们自身之于整个问题解决的意义并不比单个晶体管在芯片上所扮演的角色重要。
个体大脑无法实现递归式智力增强
大量证据指向这个简单的事实：单凭一个人的大脑无法设计出比自己更强大的智慧体。以下是纯粹的经验之谈：数以十亿计的生命个体如过眼云烟来来去去，始终没有一人成功过。结论显而易见，一个人无法在自己的一生中创造出智慧体。也可以这么说，只有将数十亿视为基数，那么就可能成功。
这些在几千年的时间中积累了知识并发展出外部智能过程的数十亿大脑产生了一个系统——文明，它最终会使人工大脑比人类个体更聪明。是整体的文明，不是你，不是我，也不是其他任何人，将创造出超级人工智能。这是一个我们甚至无法理解的涉及无数人类，涉及无数时间跨度的过程。它不仅与生物智慧有关，而且更多与外部化的智慧有关，这涉及书籍、计算机、数学、科学、互联网等。在个人层面上，我们是文明的载体，站在前人的肩膀上工作，并将我们的发现向下传递。我们是文明体系中解决问题的一小粒晶体管。
经过几个世纪以来的共同研究，未来的超级人工智能是否有能力创造出比自己更强大的人工智能？不，人类无法超越。记住，没有人，没有任何智慧体能成功设计出比自己更聪明的东西。我们所要做的是，逐渐地、集体地建立起超越自我解决问题能力的外部系统。
然而，未来的人工智能，包括那些模仿人类以及迄今为止所生产的其他智能系统在内，将有助于我们的文明发展，而人类的文明将反过来不断扩大其生产人工智能的能力。在这个意义上，人工智能与计算机、书籍和语言本身没有什么不同：它是一种赋予我们文明力量的技术。因此，超级人工智能的出现被作为一个奇点与计算机、书籍和语言的出现并无特殊之处。文明将发展出人工智能，并将继续前进。文明终究会超越我们现在的样子，就像它超越一万年前时我们的样子。这是一个渐进的过程，不是一个突变。
那么，智能爆炸的基础前提，即具有比人类更强大的解决问题的能力并导致突变式的、递归式的、失控的“种子人工智能”的说法是错误的。人类解决问题的能力，尤其是我们创造人工智能的能力，已经在不断提高，这些能力并不主要存在于我们的生物大脑中，而是存在于外部的、集体式的工具中。递归式循环长久以来就存在，“更棒的大脑”的崛起并不会对其产生质的影响，也不会超过以往任何一种提高智力的技术。人类的大脑本身并不是创造人工智能过程中的重要瓶颈。
那么就这一点，你可能会问，文明本身不就是一个正在运转的进行自我完善的大脑吗？那么我们的文明智慧会发生大爆炸吗？不会。因为至关重要的是，文明智慧水平的循环提升只会出现明显的线性进步，不会出现大爆炸。但是原因是什么呢？难道不是数学意义上递归式的增强X会导致X的指数级增长吗？不会的。简言之，因为没有一个复杂的真实系统可以被简单建模为`X(t + 1) = X(t) * a, a > 1`。任何系统无法在真空模式中生存，智能尤甚，更不用说人类文明。
我们对于递归式自我完善系统的了解
我们不必猜测“爆炸”是否会发生在智能系统有能力优化自身智能的时刻。当这种情况发生时，大多数系统也是在进行着递归式自我完善。而人类被这些变化包围。因此我们能够确切的知道这些系统在各种各样的环境中，在各种各样的时间尺度上如何运作。你自己就是一个递归式自我完善系统：教育使你更聪明，从而反过来使你更有效地教育自己。同样，人类文明也在更长的时间跨度中进行递归式自我完善。机械电子化也会发生递归式自我完善，用更好的生产机器人制造出更好的生产机器人。军事帝国同样也会进行递归式自我扩张，帝国越大，军事力量就越强。还有个人投资的递归式自我提高，你的钱越多，你赚的钱就越多。各种例子比比皆是。
以软件为例。编写软件显然可以增强软件编写能力：首先，我们编辑可以执行“自动编程”的编译器。之后，我们使用编译器开发出实现更强大编程功能的新语言。我们使用调试程序、IDEs、linters、bug predictors这些语言开发出高级开发工具。在未来，软件甚至会自行书写。
那么，这个递归式自我完善过程的最终结果是什么？你能用自己的电脑软件把工作效率提高一倍吗？明年呢？可以说，软件的适用性一直在以可测量的线性速度提高，与此同时我们已经投入了指数级的努力在改善它。几十年来，软件开发人员的数量一直呈指数级增长，而我们所运行软件晶体管数量也在不断增长，这与摩尔定律相符。但是，我们的电脑变得有用只是相对于2012年、2002年或者是1992年。
原因是什么呢？首先是因为软件的有用性受到了应用情境的根本限制，就像智力一样，它被其所表达的情境所定义与限制。软件只是我们的经济、我们的生活这个更大过程中的一个齿轮，就像个体的大脑只是人类文化这个更大进程中的一个齿轮一样。这一情境严苛地限制了软件发挥其最大潜在的可能性，就像我们所处的环境严苛地限制了个体的智力发展程度，即使是拥有超级大脑的天才。
除了前后情境的限制，即使系统的某个部分具有递归式自我完善的能力，系统的其他部分也可能成为瓶颈。在软件中，对抗性过程会出现在其进行自我完善的过程中，这可能是由资源消耗问题、特征蠕动问题、或是用户体验问题所引起。当涉及个人投资的问题时，你自己的支出率就存在这样一个对抗过程，你拥有的越多，花的钱就越多。而提到智力问题，系统间的交流会阻碍针对基层模块的任何改进行为，因为智能部件大脑在进行协调时会遇到太多麻烦。一个拥有更聪明人士的社会体系需要投入更多的联系与交流。高智商的人也更容易患上某些心理疾病，这也许不是巧合。过去的军事帝国在超过一定规模之后走向崩溃也可能不是偶然事件。指数级的增长，会遇到指数级的摩擦。
一个值得我们注意的具体议题是科学进步，因为它在概念上非常接近于智能本身。作为一种解决问题的科学非常接近于与正在运行中的超级人工智能。当然，科学也是一种进行递归式自我完善的系统，科学的进步会导致工具的发展，从而赋予科学以力量，比如实验室硬件（如量子物理学发现了激光，从而使得新量子物理实验成为可能）、概念工具（如新定理、新理论）、认知工具（如数学符号）、软件工具、通信协议，这使得科学家能更好的彼此合作（比如因特网）……
然而，现代科学却是以可测量的线性方式进步。我在2012年的一篇题为《奇点不会来》的文章中详细描述了这一现象。物理学在1950-2000年期间所取得的进步速度并没有超过1900-1950年。可以说，两个阶段的进步近乎相同。今天数学领域的发现并没有比1920年变快。几十年来，医学从所有指标来看呈线性发展模式。尽管我们在科学上投入了大量的精力，科研人员的数量以15-20年增加一倍的速率变化，这些研究人员还正在使用那些以指数级优化的计算机来提高科学生产力。
结果如何？是什么瓶颈和对抗反应正在减缓科学的递归式自我提升？原因有很多，我根本数不清楚。而下文将提到其中一些。重要的是，提到的每一点都适用于处于递归式自我完善的人工智能系统。
随着时间的推移，在某一特定领域进行科学研究的难度会成倍增加。该领域的开创者收割了大多数唾手可得的成果，而在之后取得类似的成就需要付出更多的努力。没有一位研究人员能像香农1948年的论文那样，在信息理论方面取得如此进展。
当某一领域范围更广时，研究人员之间的分享与合作会变得更加困难。要跟上新出现的思想越来越难。记住，有N个节点的网络一共有N * (N – 1) / 2条边。
随着科学知识的扩展，需要在教育与培训上投入的时间和精力也在增加。而单个研究人员的研究领域也变得越来越窄。
在现实世界，系统瓶颈、收益递减与对抗性反映最终会围绕在所有递归式自我完善的周围进行干扰。自我完善的确会带来进步，但是进步往往是线性的，或者是S型的。你所投入的第一枚“种子美元”通常不会带来“财富爆炸”。相反，投资回报与不断增长的支出之间的平衡通常会使你的储蓄随着时间的推移而大致呈线性增长状态。这些是比思维的自我完善以数量级程度简单化的系统。
同样地，第一个超级人工智能只是一个我们早就已经开始攀登的线性进步的又一个脚印。
总结
智能的发展只能来自于大脑、感觉运动能供性、环境与文化的共同进化，而不仅仅是在一个封闭的罐子中某些大脑齿轮孤立地发展。这种共同进化自宇宙大爆炸开始就缓缓启动，随着智能越来越基于数字化，它将继续存在。由于这个过程的进展大致呈线性模式，因而不会发生所谓的“智能爆炸”。
记住：
不能脱离情境谈智力，不存在一般智力这样的东西。你的大脑比之你的身体、所处的环境、其他人以及整个文化来说是更为广大的系统的一部分。
任何系统都不能在真空环境中生存；任何一个个体的智力都将被其存在的环境所定义与限制。目前，是我们的环境而不是大脑正在成为智能的瓶颈。
人类的智慧在很大程度上是外化的，它不存在于我们的大脑中，而是存在我们的文明之中。视人体本身为工具，我们的大脑是一个更大的认知系统的一个模块。这个认知系统正在自我完善，并且已经存在了很长时间。
由于可能出现的瓶颈、递减以及在更大范围内产生的对抗反映，递归式自我完善系统在实践中不会以指数级增长。从经验角度来看，它更倾向于以线性或S型形式前进。而这尤其解释了科学进步的原因，而科学可能是我们所观察到的最接近于进行递归式自我完善的人工智能的系统。
从文明层面上讲，递归式智能发展已经发生。它将在人工智能时代继续发展，并大致呈现出线性方式。
原文链接：https://medium.com/@francois.chollet/the-impossibility-of-intelligence-explosion-5be4a9eda6ec
