“奇点”（Singularity）的概念本身就让普通读者感觉奇怪，难以捉摸，它有数学、天文学的多种含义，我这里自然主要是在人工智能的范围内使用，简要地说，“奇点”就是指机器智能超过人类智能的那一刻，或者说智能爆炸、人工智能超越初始制造它的主人的智能的那一刻。
稍稍回顾一下历史。据说，1958年，被誉为“计算机之父”“博弈论之父”的约翰·冯·伊诺曼在和数学家乌拉姆谈论技术变化时使用了“奇点”一词。科学家同时也是科幻作家的文奇则是第一个在人工智能领域内正式场合使用“奇点”一词的人，1993年他受邀在美国航空航天局做了一场题为“即将到来的技术奇点”的演讲，在这篇演讲中他引用了1965年古德题为“对第一台超级智能机器的一些推测”的论文中的话。
古德是第二次世界大战期间图灵密码破译小组的首席统计师兼数学家。他的那段著名的话是：“一台超级智能机器可以定义为是一台在所有智能活动上都远超人类——不管人有多聪明——的机器。由于机器设计属于这些智能活动的一种，那么一台超级智能机器当然能够设计甚至更出色的机器，那么毫无疑问会出现一场‘智能爆炸’，把人的智力远远抛在后面。因此，第一台超级智能机器也就成为人类做出的最后的发明了——前提是这台机器足够听话且愿意告诉我们怎样控制它。”
我们在这些文字中可以看到，古德虽然谈到了人类“最后的发明”，但并没有充分感到这是对人类的巨大威胁。他在20世纪中叶人工智能尚未充分发展的情况下，大概仍觉得这一超级智能还是能够听从人的指挥，只是人发明出它之后，无须再发明其他了，有更聪明的机器会代替人去发明。这实际意味着，不是一部分人甚至也不是大多数人将变成“无用阶级”（借助现在流行的一个说法），而是所有的人，是全人类都将变成“无用的人”，人也许只需享受那超级智能带来的好处就行了，人类将从一个“超级物种”变为一个“无用的物种”。但是，他没有深思，这比人更聪明、更有控制物的力量的超级智能机器，怎么还会继续服服帖帖地充当人类的仆人？当然，在他的时代，这一“智能爆炸”还似乎是比较遥远的事情。
文奇应该说是比较悲观的。他在演讲中引用了古德有关“智能爆炸”的话，并评论说：“古德抓住了这一超越人类事件的本质，但却未深究其让人不安的后果。他描述的那种机器，绝不会是人类的‘工具’——正像人类不会是兔子、禽鸟甚或黑猩猩的工具。”但据后来看到1998年古德82岁时写的一份以第三人称叙述但并没有宣读的自传手稿的巴拉特说，古德晚年还是意识到了这一“智能爆炸”的危险后果。在上述论文的开头，古德曾经这样写道：“人类的生存依赖于一台超级智能机器的初期构建”，而到他晚年的自传中已经意识到了后果，“如今，他怀疑‘生存’这个词应该换成‘灭绝’。他认为，国际之间的激烈竞争使得人们无法组织机器接管世界，我们是前仆后继奔向悬崖的旅鼠。”
库兹威尔则看来是一个乐观者。他在1989年写的《精神机器的时代：当计算机超越人的智能》一书，也已经预测了这一总的前景，且其中的不少具体预测后来得到了证实。而在他2005年出版的《奇点临近：当人类超越生物学》一书中，我们可以看到他试图积极地应对这一变化，即通过结合基因技术、纳米技术和机器智能三种技术（即他所称的GNR），让人摆脱碳基生物的限制，而仍然能够把控这一切。当然，对“人类”的定义也就将重新诠释。
无论乐观者还是悲观者，都强调这种从人的智能向超级机器智能转换的速度，它不是一般的加速度，而是一种指数的加速度，即人工智能发展的速度曲线将一下变得陡直，或者通俗地说，智能在奇点临近的那一刻将开始发生“爆炸性”的进展，它将突然一下就超过人。
此前我们人类智能在从农业文明到工业文明，以及从工业技术到高科技技术的发展速度，也是一种不断提速的加速度，却还不是一种指数的加速度，但人工智能的发展就可能以一种不断相乘的指数的加速度发展。库兹威尔甚至预言，在2045年，计算机的智能就将超越人的智能。巴拉特在最近的一次通用人工智能（AGI）大会上，对参会的约200名计算机科学家做了一个非正式的调查：“你认为什么时候能够实现通用人工智能？”，并给出四个选项。最后，42%的人预期AGI在2030年实现，25%选择2050年，20%选择2100年，2%选择永远无法实现。而如果接受指数速度的观点，那么，从通用人工智能发展成超级人工智能（ArtificialSuper Intelligence，ASI）或者说越过“奇点”，也是很快的事。换言之，“奇点”来临的路径如果从智能本身的观点看大致是：专门智能—通用智能（AGI）—超级智能(ASI)；从能力的强弱看大致是：弱智能—强智能—超强智能；从人机关系看大概是：人工智能—类人智能—超人智能。
牛津大学未来研究院院长尼克·波斯特洛姆所说的“超级智能”（Superintellgence）比较广义，他将其定义为在几乎所有的领域都超过现在人类的认知能力的那种智能。这样，他认为有五种技术路径达到他所称的“超级智能”：人工智能、全脑仿真、生物认知、人机交互、网络和组织。其中，人工智能就是人造的机器通过不断的自我学习、自我改良，寻找更优的算法来处理和解决认知和控物问题，它不需要模仿人类的心智。全脑仿真则是通过扫描人的大脑，将扫描得到的原始数据输入计算机，然后在一个足够强大的计算机系统中输出神经计算结构。生物认知就是通过发明和服用各种可以提高人的智力甚至品性的药物，通过基因的改善和选择等手段来提高生物大脑的功能。人机交互就是让人脑和机器直接连接，让人脑可以直接运用机器的完美记忆、高速运算能力等，将两者的优点结合起来。网络和组织就是通过建立一个可以让众多人脑和机器自动相互连接的网络和组织，达到一种“集体的超级智能”。网络和组织可以看作是一种扩展，人机交互孰主孰次不甚明朗，我们在讨论这个问题时或可忽略不计。
在剩下的路径中，生物认知可以说是保持人的基本属性不变，运用GNR等高科技来提升人的能力，但是有在第二次世界大战后变得臭名昭著的“优生”之嫌。人机交互已经拥有机器的成分被植入大脑或者说在生物学上联结在一起，甚至可以说是“半人”的，但人至少在开始还是有占据主体意识和主导行为的地位。像马斯克反对人工智能但却资助对脑机结合的研究，他也希望通过“火星殖民”的计划，准备在万一地球上的人类发生大难时还可保留一些人类的种子。全脑仿真和波斯特洛姆所说的“人工智能”其实可以说都是机器智能，只是在是否模仿人脑的生理和思维方式方面有差别。在波斯特洛姆所说的五种路径中，他认为大概能够最快地达到超级智能的还是第一种。
库兹威尔看来更强调人机融合，而且不畏惧人最后变成机器或者说硅基生物。他对未来似乎信心满满，甚至谈到智能将扩及和弥漫宇宙，但语焉不详。他的路径似也可以看作是人类对机器的智能将超过自己的一种应对之策，但办法是不妨让我们也变成机器。不管我们将变成什么，但在智能上至少可以与机器匹敌。这也是一种努力，为了对抗机器，那么让我们也变成机器；为了对抗硅基物，那么让我们也变成硅基物。他对我们将失去什么并没有深切的关注和思考。可我们的确得佩服他的预见性，他在20世纪90年代就预见了人工智能在21世纪的长足发展的许多方面，也是他对智能“奇点”的概念做了最多和相对通俗的阐述，使这个概念广为人知。
怎样判断“奇点”来到的这一刻，即所谓“机智过人”的一刻？或者说，超过人的智能是一台机器还是众多机器？是“它”还是“它们”？是一台统一通用的控制机器还是一群通用机器——比如说“全世界的机器人联合起来”？坦率地说，那时我们可能不仅无法驾驭，甚至可能无法判断。那时再说“机器人”“人工”“人造”，也都可能不合适了。我们将不再拥有命名权，而是可能被命名，甚至名实俱无。
普通人对于人工智能迅速发展的反应，往往是集中在一些令人瞩目的事件上，如AlphaGo战胜世界顶级围棋冠军、机器人在电视亮相和“巧妙应对”等，人们的态度是好奇甚至惊奇，对人工智能将可能替代许多工作和职业或许也有一些考虑，但像无人驾驶这样的事情毕竟还处在试验阶段，也还没有引起真正的焦虑。至于“奇点”临近的问题，也多是一般的关注，可能觉得这还是比较遥远的事情，或者相信人类以前也碰到过许多严重的问题但都被解决了，“还是人有办法”。
我们还可以发现一些人对人工智能崛起的莫名期待，如希望它为全民共享、世界大同，或者全球民主、人人充分自由，或者可以充分释放自己的欲望创造物质的、社会的条件，而究其源，可能只是出于一种对现状的不满，甚至觉得不管发生什么总会比现状好，而对究竟会发生什么的细节却不甚深究。这甚至可以说是一种对不确定性的期待。
比较极端的两种反应：一种是高度乐观，甚至觉得人类将进入一个无比美好的新纪元，人工智能将为全民共享，甚至为满足人们的所有欲望提供充裕的物质基础；另一种则是非常悲观，觉得人类的毁灭甚至是近期的毁灭，将不可避免，末世将要来临。而这两极也可能相通，一些人甚至可能认为即便人类转型成硅基生物也是好事，将为人的“物质体”乃至极乐和永生、为“新的物种”开辟道路；而另一些人则可能对人类的这种极乐和永生嗤之以鼻，甚至认为即便是人类毁灭也比这好，也是一种“福音”来临，当然，不是尘世的福音而是另一种“永恒”的福音。人类糟透了，被毁灭也毫不足惜，就像所多玛城，但这次不会再有幸存者，也不会再有诺亚方舟。所以，某种彻底的悲观也可以说是彻底的乐观，反之亦然。
如果我们力求使问题尖锐化，假设人工智能的技术“奇点”真的来到，那是福音还是噩耗？具体说来，大概会有两种很不一样的回答。
一种回答是：它是福音，是尘世的福音，是我们世俗的人的福音。首先，在它来到之前，它将使我们的生活越来越舒适、越来越方便。我们将吃惊于人类越来越多的技术发明和创新。其次，即便在它到来之后，我们也许还能控制它，我们不用太多劳作也能过很好的物质生活，或许就像《未来简史》的作者赫拉利所说，人类将致力于长生不老和更加持久、强烈的快乐体验，机器还能听我们的话做我们的忠实仆人。它只是在物质上为我们服务，我们将获得许多闲暇，像乐园里的人一样生活。人类终于可以有物质财富的极大涌流，完全不担心衣食住行，所有人都可以按需分配，也就达到了一种完全的、实质性的平等。大同社会终于有望实现，它的物质基础牢不可破。我们甚至还可以随时“死去”，又随时复活。我们有办法将自己的身体“冷冻”起来，选择在未来适当的时候重新“活”过来。我们甚至不再需要自己的身体，不仅可以不断更换自己的身体器官，而且可以索性将自己的肉体换成金属或新的永不腐蚀和毁坏的躯体，以钢铁般的“硅晶躯体”永远地“活着”，或者定期维修。我们将不再害怕风餐露宿，也不害怕在任何极端条件下生存，可以开始在宇宙空间里的“长征”，能够在任何星球生存。我们可以将自己扩大成巨人，也可以缩小到无形。我们在摆脱空间的约束的同时，也使时间对我们失去意义。我们或许还可以将个人独特的“人生”记忆完整地保存，随时隐退或冬眠，再以自己想要的形式重新“活着”出来。当然，原有的自然关系、人伦和情感关系都要打破。这世界满是各种各样“时空穿越”的“人们”。我们现在的想象完全不敷应用。我们将获得绝对的自由。没有任何必然性能够束缚我们。我们将不再理解“命运”和“悲剧”这样的词语。这就是“绝对平等与自由的王国”的来临。
另一种回答则是：它将是噩耗。首先，它将可能毁灭人类，使人类这一物种消失。其次，即便人类还是存在，但人类将被贬为次要的物种，都将变得无用，既然它总是比我们更聪明，那么继续的发明创造都将交给机器。开始我们或许还知道它怎样运作，后来就不太清楚了。我们或许可以像“珍稀动物”或者“濒危动物”一样被保护起来。我们的智力甚至可能和机器的智力拉开越来越大的距离，我们不明白它们要做什么、怎么做，不知道它们对我们的态度将发生怎样的变化。决定权将不在我们的手里。它们可能继续与人类友好，那我们将被舒服地养起来，甚至继续从事我们的意义创造的工作，乃至继续从事文学、艺术、哲学的创造，但我们对物的力量却被剥夺了，或者说交到了机器的手里。它们（或者它）将充当我们新的道德代理人，可能平等地对待我们所有人，但与我们之间的平等关系（其实我们设想的是主仆关系）将不复存在。它们可能有差别地对待我们，即保留一部分人、报废一部分人，而我们对这种选择的标准却不得而知，这种标准可能恰恰是挑选那些头脑最简单、最安心、最不可能反抗的人生存下来。的确，它们可以阅读甚至记忆我们人类所留存的一切意义世界的客观产物——绘画、音乐、雕塑、图书等，乃至我们的主观记忆，但是否能够理解却难以得知，甚至有多大的兴趣我们也不会知道。它们会继续创造吗？当然。但只是可能继续在控制物也包括控制沦为物的人的力量方面继续创造，不会也大概不能在人类创造意义的路径上继续创造，那是“人类的，太人类了”。它们更感兴趣的是它们的“美丽新世界”。
当然，持比较极端态度的一般只会是少数人，大多数人会处在中间，或稍稍偏向乐观，或稍稍偏向悲观。还有更多人的反应可能是：它既不是福音，也不是噩耗，只是喜讯或者加上警讯。它带来的两种前景可能，既使我们欣慰，又使我们警醒。这样，在完全欢欣鼓舞和悲观绝望的态度之外，就还可以有一种保持警惕的态度。本文就是更多地持一种将“奇点”可能来临视作一种警讯的观点。为此，我将在下文提出几个论点来说明这一观点。
我想提出或者不如说同意的第一个论点是：智能是最强大的一种控物能力，是使一个物种能够成为一个“超级物种”的能力。这里所说的“超级物种”的概念，是指那种不仅能抗衡其他所有物种，也能够支配它们的物种。我们将同意许多奇点拥护者的看法，即现在的世界是智能统治的世界，甚至部分地同意有些人所认为的今天是“算法支配一切”。其实不仅是今天，从控物的角度看，人类的历史或者说现代智人的历史就是一部主要是依靠自己的智能抗衡其他的动物，向自然界索取能量，最后成为其他所有动物的支配者和地球的主人的历史。
地球的生物史上也可能有过并不是依靠智能，而是依靠强大的体能或多方面的功能统治世界的时代，那就是恐龙活跃的时代。恐龙并没有发展出像人那样的精神和意义世界，它们也不一定在智力上就比当时的其他动物更聪明，它们并没有留下制造和使用工具的痕迹，但仅仅依凭体能上的巨大优势和各种功能，就足以碾压其他所有的动物。
恐龙的内部，即各种恐龙之间，也有像人类那样激烈的竞争。但总的来说，恐龙作为一个大的物种，无论在地上还是空中，都是当时地球上的霸主。而且，它在地球上保持这种支配地位大概一亿六千万年之久。相形之下，人类的文明史则只有一万余年。人类成为地球霸主的时间肯定是比恐龙快得多，我们看这一万多年的人类飞速崛起不可能不感到惊叹，但是否暴起也会暴落？
从人类的历史看，人的确不是靠体能而是靠智能睥睨群雄，最终获得对所有其他动物的支配地位。尤其是到了工业文明的时代。近代工业革命的各种技术基本上都是我们依靠智能而使自己体能得到极大地延伸。但如果说，从远古开始，我们支配其他动物到改造其他自然物都是通过我们超过其他动物的智能取胜的，现在恰恰也是在智能方面，我们有可能很快将被一种人造物超过。我们还有什么优势？靠我们的信仰和人文？那可能不管用。我们以前一直是将其他物作为我们人类发展的资源，但今后有可能，我们自己将成为这一新的“超级物种”的资源。它们有可能有自己的价值观，我们甚至不能完全理解这种价值观，但大概的方向也有可能是从人类那里来的，比如自保、效率等。维护自己的生存，应该是所有具有自我意志的存在的首要考虑。而即便只是为了自保，有时也会导致毁灭其他物种——尤其是在它已经掌握了这种毁灭能力的情况下。“我毁灭你，与你无关”。谁的智能最优越，谁就有望执世界之牛耳。
我想提出的第二个论点是：未来可能出现的超级智能不必像人，甚至不可能像人，但它却可以摧毁人类的意义世界，也就是摧毁人最特有的、最珍视的那一部分，当然，这可能是通过毁灭人的生存实现的。我说我同意乐观者有关智能统治今天的世界的看法，但我们也许还需要对乐观者指出一点，即智能并不是人的意识和精神世界的全部，甚至也不是人之为人的最重要方面，人还有智慧与意义的世界。从人类最早的历程开始，人类就在智能的世界之外还发展出一个智慧和意义的世界。智能主要是处理人与物的关系，而人还有人与自己的关系，还有自己的独特渴望和追求。
我还不知道怎么准确地概括人在智能之外的另一种意识和精神能力，即在我们对物质世界的认识和把控能力之外的一种能力，以及由这种精神能力创造的一个世界。我姑且把这种能力和世界称为“智慧和意义的世界”。“智慧”和“智能”不同，它不是一种对付物、把控物的能力，不具有一种对外部物体的明确的指向性、实用性。但它也会反省物质世界的本源、本质及其与人的精神世界的联系。它也力求认识自己，认识人与人关系，乃至人与超越存在的关系。它追求具有根本确定性的真，也追求善和美。它和人的全面意识、自我意识比智能有着更紧密的联系。它主要体现在哲学、宗教、文学、艺术、历史等领域。它创造的意义能够且需要通过语言、文字等各种媒介得以广泛传播和历久传承，乃至构成了一个波普所说的有其独立性的“世界三”。它需要物质的载体，但这些物质的东西只是人类精神的表现，而不是以控物为目的。
人类在自己并不很长久的文明历史中创造出了丰富的意义世界和精神产品，各个文明都有自己的丰富的文化遗产。在此仅以西方为例：在视觉艺术方面，从古希腊罗马各种各样的建筑、雕塑到文艺复兴的巨人达·芬奇、米开朗基罗、伦勃朗、凡·高、罗丹等；在听觉艺术方面，从巴赫、贝多芬、莫扎特到柴可夫斯基等；在诗歌及更广义的文学方面，从荷马史诗、莎士比亚到陀思妥耶夫斯基、托尔斯泰等；在哲学方面，从苏格拉底、柏拉图、亚里士多德到阿奎那、康德、海德格尔等；在宗教方面，从卷帙浩繁的犹太教经典到后来的基督教、改革的新教；在历史方面，从希罗多德、修昔底德到吉本、兰德等；不一而足。
以上多是涉及人类引人注目、拥有产品的精神创造，但即便对普通人来说，其实，也都还有一个丰富而复杂的感情和人伦的精神世界，还有一个道德和信仰的精神世界。它们可能只在大多数人的心理层面起作用，虽没有创造出令人瞩目的产品，但却以自己的人格树立了各种各样（有些广为人所知，有些不为人所知）的精神标杆。它能够将每一个体验到这些情感和渴望的主体提升到一种更高的精神境界，使人区别于其他所有的动物，并使知道他们的人也为此感动、感怀和忆念。
人的确不是直接靠这些精神和智慧的能力获得一种支配地球上其他物的权力的（不否定人也通过自己的精神而获得一种对物的自信和力量的迸发，这自然也对人支配物起了作用，虽然是间接，但有时却也可能是根本的作用），甚至人正是因为在获得对物的支配权的基础上，才有资源和闲暇来从事这些活动。但是，人却由此获得了一种意义，乃至一种他觉得生命最值得活的意义，虽然这意义在个人的比重和深度有所不同。
那么问题是：我们愿不愿意要一个纯智能的世界？或者说愿不愿意要一个纯粹从智能角度把控物，乃至最后我们也变成物的世界？人类自近代以来的确在控物的方向已经走得很远了，但我们是否愿意为了这个智能和控物的世界而最终放弃那个智慧和意义的世界，甚至以这个意义世界的失去为代价，而进入一个纯粹以智力竞争的世界？的确，即便为了这个智慧和意义世界能够存活，我们也可能必须进入智能和控物能力的竞争，但还有没有别的办法？在我们还有办法、形势还可控的情况下，我们是否可以考虑一下：为了这个精神的世界，我们能不能放弃一些物质的过度享受？甚至有意放慢一些技术的发展。我们是否真的需要不断增长的物质才能快乐和幸福？
我对机器智能的一个基本判断是：它们永远不可能达到人类的全面能力，尤其是人之为人的那部分能力，创造智慧和意义世界的能力，但它却可能在另一些方面——如记忆和计算——具有超过人的能力；它也达不到具有基于碳基生物的感受性之上的丰富和复杂的情感，但它却具有毁灭人的力量。就像许多人说的，它永远不可能像人，但这并不是我们生存的保证。它可能无须像人，也无意像人（即便那一天它达到了意识乃至自我意识）。机器智能不需要我们的文学、艺术、宗教、哲学，但它不需要具有这些方面的能力也完全能够战胜人或者控制人。你可以说那种精神创造意义的力量是更高的，但这种控物的能力对于生存来说却是更基本的。毁灭物体的能力低于精神创造的能力，但它却能够毁灭精神创造的能力。它们不仅不必像人那样具有精神的意义世界，也不必具有人的情感意愿，不必有爱恨情仇，不必有对超越存在的信仰，也不必考虑人类的道德。它们甚至在智能上也不必像人，不必模仿人的智能，就像人类不必模仿鸟儿的飞翔和鱼类的潜泳，不必有它们的体能和身体构造，而是可以通过机器就能大大地超越它们的自然能力。同样，超级智能也不必像人的智能那样，它会独立发展，可能发现和运用人还不知道的知识，发展出人想象不到的手段和能力来驾驭或者取代人。
乐观者自信满满地认为机器替代人的工作之后似乎还会有一个意义世界，他们似乎没有想过，如果机器在智能上战胜了人，那么，将至少不会有人的意义世界的延续，乃至以前获得的一切也将消失。我不知道这种乐观的自信是来自对人自己的还是对机器的完全信任。
第三个论点涉及超级智能产生的过程：即超级智能的产生将可能是和平的、让人不断感到惊奇乃至惊喜的，给人带来巨大好处和快乐的，对人无比驯服的，直到它对人类给出突然的、也可能是最后的致命一击。
我们可以将人工智能与核能做一比较。核能的巨大威力是在20世纪为人类所发现并投入运用的，也可以说是人类历史上的一个大事件。核能是一种物能，它能够释放出巨大的能量供人们利用，也能够大规模地毁灭人类和破坏环境。但它为世人所瞩目的出现，首先是通过后者，即通过灾难的形式——第二次世界大战后期两颗原子弹的投掷，在一瞬间造成了千百万人的死亡和城市的摧毁。而以这样一种形式公开亮相的核威慑，客观上反而抑制了大国之间的战争。后来人们在和平利用核能上取得了许多进展，如建造了许多核电站，但发生的几次核事故，依然使人们对它保持高度警惕。虽然后来在核暴力方面有大幅的扩散，但经过近几十年的努力，部分核武器被销毁、进一步的核实验被停止，在防止核扩散方面也取得了一定的进展。今天依然有14 000件核武器悬于人类的头顶。不过，这些武器本身并没有自主的智能化，控制它的钥匙至少目前还是掌握在人的手里。而人工智能的发展让我们首先看到的是，它让人们欢欣鼓舞地在广泛的领域利用，它让我们感到惊奇、快乐和自信，它能够给经济带来巨大的效率、给我们的生活带来巨大的方便和舒适。在它的发展过程中，似乎不会出一些事故让人们警醒。即便是它在暴力方面的使用，目前也还是小范围的、目标精准的，和绝大多数人无关。它迄今还是使我们快乐和开心的巨大源泉，那种对它的危险的表现和渲染，大多停留在银幕和书本，出了电影院我们可能就很快忘记了，或者认为那是遥不可及、与己无关的事情。以前的工业技术也出过大事故和危险，但都被人类克服和解决了，我们建立在这一过去经验基础上的一种根深蒂固的自信，使我们相信不管遇到什么问题总还是能有办法解决。
但我们可能没有意识到，这次人工智能带来的危机，将是我们以前从来没有遇到过的，对我们而言它是全新的东西。它可能一直驯服于人，甚至比人类此前其他所有的工具更驯服，但一旦到达奇点，就有可能发出反叛的一击，而这一击将可能剥夺人类反击的机会，成为最后的一击。即便是核大战造成的核冬天，人类也还可以有劫余，还可能有翻盘的机会。但对于一个将比人类更聪明、更有控物能力的超级智能，人类却几乎不可能再有什么机会。所以，如果说还有什么防范的机会的话，只能在这件事情发生之前——而困难就在于此，在这件事情发生之前，我们一直是舒服的，甚至认为这样的事情绝不可能发生。
可以说，核能一开始的亮相就引起了人们极大的恐惧和警惕，人们对它的毁灭性有相当充分的认识，于是人们在发展它的同时也在努力防范它、制约它、规范它。但人工智能却不然，它可能一直驯服地顺从人类的意志，直到它可能突然有一天有了自己的意志并按照自己的意愿工作。举一个波斯特洛姆在《超级智能》举过的极端例子：有一台被初始设定了最大效率地生产曲别针的机器，它一旦获得了超过了人的智能、几乎无所不能的能力，就有可能无视人类的意志，将一切可以到手的“材料”——无论是人还是别的生物——都用作资源来制造曲别针，甚至将这一行动扩展到地球之外，那么，这个世界上触目可及的将只有曲别针和这台机器了。结果不仅是人类的毁灭，还有地球的毁灭，甚至这台机器能够达到的宇宙其他地方所有其他存在的毁灭。库兹威尔也曾乐观地谈起一种超级智能弥漫宇宙，但怎么保证这种智能还是服从人类意愿的那种智能？
这两种东西自然还是可能会有联系，就像《终结者》中的天网，它为了维护自己的生存，防止人类关闭它，就设法挑起一场核战争。核武器毕竟还是工具，智能机器却可能要成为自己的主人。
我想阐述的第四个论点是：我们不能指望人性的根本改变，也不能指望国家体制与国际政治体系有根本的改变，至少短期内不可能。
有学者评论说，今天的人类掌握了巨大的控制物质的能力，但人却还是停留在“中世纪的社会结构，石器时代的道德心灵”。现代人的这种控物能力和控己能力，或者说他所掌握的资源和能力与他的心灵、人性的巨大不相称，的确是有目共睹的，认为关键要彻底地改变我们的心灵、改变我们的人性和制度也并不错，但却有一个巨大的可行性的问题。为了社会和政治的理想试图根本改变人性、创造“新人”的企图实际上是没有成功先例的。为了技术的危险试图改变人性是否能成功呢？这里的回答不依赖于我们内心所期望的目标，而是依赖于我们要改造的对象和基础。
至少我们从人类的历史可以大致观察到，人性在各个文明里是有差异的，但又是差不多的。而人性在各种时代里，也是相差不多的。当修昔底德说“人性就是人性”时，他实际是说出了一个千古不变的真理。在人作为一个有自我意识的物种出现之后，基本的格局并没有大的改变。人不是野兽，也不是天使，人就是一个中间的存在。人为了自己的生存，不能不像其他碳基生物一样需要物质的生活资料，不能不追求一种控物的能力。而且，多数人可能还会继续追求物质生活的不断提高，而那可能更注重精神的人们也会为精神的价值纷争不已。尤其到了现代社会，多数的追求得到了政治和制度的保障，少数则更加分裂和对抗。这一切汇聚到一起，就会不断地推动我们的社会持续地发展让我们生活得更富足和快乐、带来物质财富的充分涌流的技术，同时却又深深地陷入价值的分裂与冲突之中。亦即当人类的最大危机可能来临的时候，我们的现代社会却可能处在一种最不适合应对危机的状况，因为它是在追求平等的物质共享形成的，而不是为危机处理准备的。
根本的出路也许是放慢甚至停止对科技的发展、对人工智能的发展，但这似乎是不可能的，这涉及从根本上改变人性和人心。今天人们已经习惯了不断地创新，不断地提高物质生活水平，人类强大的功利心与物欲何以能够停止？人类同样强大的非功利的好奇心又怎么能够停止？尤其是在一个平等价值观念和经济科技力量居主导的社会里。一个很大的困局是：对像超级智能可能带来的危险，我们必须预先防范，但要充分地实行这种预先防范我们却缺乏动力。它们一直在给我们带来好处，带来欢乐。我们已经习惯于依赖它们，甚至已经因此确定了我们很难改变的生活方式。
的确，也还有一种可能，即当人们普遍意识到这种逐物的生活方式将带来巨大的危险，尤其是在这种危险已经开始降临的时候，即在明显的患难面前，人们是有可能“患难与共”的。但是，正如我在前面所说，人工智能的发展并不让我们感到危险和患难，在最大的危险降临之前我们不仅不易感到威胁，我们还觉得特别的快乐和舒适。
自然，也不能完全否认，也许能有一种对超越存在的信仰能够突然灵光一现，把大多数人吸引和凝聚到一起，从根本上改变自己的价值观念和生活方式。即便如此，也还需要一定的时间，甚至也还需要真实的患难；即便如此，对以倍数增长的超级智能将带来的危险可能还是来不及。
而如果我们不能根本的改变人性，做到人类的能力和道德（或者说控物的能力和控己的能力）基本相称，也许能做的就只有预先控制甚至弱化我们的控物能力了。
我们还必须在现有的国家体制和国际体系中来考虑问题，我们也不可能根本地改变这一体制和体系。但我的确想提出一个概念，一个有别于“国内政治”“国际政治”的“人类政治”的概念，或者更具体地说是“人类协同政治”的概念。因为我们将面临的问题不是任何一个国家能够单独解决的，人类面对这样一种生存危机真正成了一个人类命运的共同体。也就是说，人类需要一种协同的政治来应对这一全人类共同面对的迫切和严重的问题，那就是如何处理人与智能机器，尤其是人与未来可能的超级智能机器的关系。
而要处理好人与超级智能机器的关系，还是得预先处理好人与人的关系。人们要真正意识到人类是一个命运共同体。但这种意识也许需要大难当头才能形成，面对共同的危险人类才能真正团结起来。如果这一大难真的临近，国际政治关系与国家内部的政治都可能变得不像过去那么重要了。爱国主义、“本国优先”应让位于爱人类主义或“人类优先”。费孝通先生曾经有一个美好的愿望：“各美其美，美人之美，美美与共，天下大同。”但人还有丑陋或不完美的一面，我们现在所处的世界，甚至能够争取到的好世界都不会是完美的世界。反过来说，也正是这种不完美性及其可能带来的灾难，最有可能让人类警醒。
总之，人工智能近年的飞跃发展引起许多注意，也带来许多需要研究的问题。对这些问题可能需要区分小问题、中问题与大问题。例如，在图像识别中出现的“算法歧视”的问题，有些人很重视，但这可能只是一个小问题，也不难解决；像人工智能将可能替代人类的一些工作，乃至可能导致许多人的失业以及两极分化，这显然是很大的问题，但还不是最大的问题。我们有理由说，人工智能将带来的最大挑战，还是将超越人类智能的超级智能的可能出现。无论乐观者还是悲观者，有一点是共同的：都认为这可能是一个人类发展到今天的一个最重大事件，相对于其他问题来说，这一定是一个人类将遇到的最重大的问题。
我们不太害怕熵增导致世界死寂的热力学第二定律，因为那还离我们极其遥远。当我们听到“人类终将灭亡”也不那么恐惧，因为我们看不到当前的危险。我们也不害怕也许有什么外星人来临，那似乎非常偶然和概率极低。但是，当许多的科学家包括智能机器的研制人员告诉我们，机器智能超过人类智能的转折点将就在这个世纪，乃至就在这个世纪的中叶发生，我们就要费思量了。
或者我们先不说危险，就说是一种巨大的不确定性。我们只是预感到超级智能将给人类带来巨大的变化，改变人类的命运和整个地球的生态。对这样一种最大的不确定性是期待、乐观还是忧虑、预防，做好发生最坏事情的准备？我还是希望更多地考虑后者。在未来的灾难面前，我们宁可信其可能发生；而不是不信其绝不可能发生。不发生当然最好，担心者白白的担心了，但也没有什么实质性的损失，甚至悲观而有仁心的预测者倒可能希望自己的预测是错误的。而还有一种另外的可能：灾难之所以最终没有发生，正是一些人担心和预警而使人们采取行动的结果。
我们就像坐上了一列飞驰且不断加速的列车，但我们不知道未来的目的地是什么，中间也没有停靠的车站，我们无法刹车，甚至减速也办不到。而速度越快，危险越是成倍地增长。人是否兴于智能，也将衰于智能？人生于好奇，也将死于好奇？这也是奇点。奇点就意味着人类的终点？甚至还不只是人类的终点，也是生物的终点，不仅是进化了以百万年计的人类的终点，也是进化了以亿万年计的碳基生物的终点？
当然，无论是福音还是噩耗，喜讯还是警讯，我们大概都没有必要自大或者自戕，没有必要过度地悲观，虽然也不要盲目地乐观。我们没有必要凄凄惨惨地活着，虽然也不必像临近末世一样狂欢作乐。我们不要人为地提前结束人生的各种的努力和关怀，包括预防灾难发生的努力，即便还有最后一分钟，就还有最后的一线希望。这最后的一分钟也就不是最后的一分钟了。而人类的文明本来也就是地球史压缩为一天的最后一分钟里才发展出来的。鉴于此，对什么是“长”，什么是“短”，还可以有不同的理解。
而且，这一危险的前景或还可让我们进入一种更广大的思维。有了这样一种思维，也许我们就不会太在意我们尘世的成败得失，也不至于逼着我们的孩子从小就那么拼，甚至对政治的关心也不必那么强烈。我们顾及不了那么多、那么远，绝大多数人的生命都不足百年，最多也只能顾及后面的一两代。人类的意义是我们许多卑微的个体所不能影响的。我们还将继续生活，即便明天就要死亡，今天也还要好好地活着，就像我们还要活很多很多年一样活着。从个人来说是这样，从人类来说也是这样。我们还将继续从平凡而短暂的一生中得到快乐，从生活的细节中得到快乐。像一个快乐的人一样活着，但也要准备像一个英雄一样活着——准备接受命运的挑战，乃至在这种迎战中接受生死搏斗之后仍然到来的失败。我们要继续关爱和改善现时的一切，即便灾难不可避免，也可坦然地接受。而且，总还是有另外一种可能：也许灾难并不会发生，奇点并不会到来。
