为什么人工智能必将威胁我们的文明？
我要跟大家分享的观点，听起来可能更明确，我主张，对人工智能的发展，至少应该进行重大限制，而且这种限制现在就应该进行。
人工智能的好处就不用说了，想必大家都知道。现在在媒体上一点都不缺关于人工智能好处的信息，而且很多搞人工智能的人士也整天跟我们讲好处，所以用不着我再跟大家讲了。我们现在需要讲人工智能的危险。
对于人工智能这样的东西，我们必须认识到，它跟以往我们讨论的所有科学技术都不一样。现在人类玩的最危险的两把火，一把是生物技术，一把就是人工智能。生物技术带来很多伦理问题，但是那把火的危险性还没有人工智能大，人工智能这把火现在最危险。最近一些商业公司，通过“人机大战”之类的商业炒作，一方面加剧了这种危险，但另一方面也激发了公众对人工智能前景的新一轮关注，这倒未尝没有好处。
我们可以把人工智能的威胁分成三个层次来看：近期的、中期的、远期的——也就是终极威胁。
近期威胁：大批失业、军事化
人工智能的近期威胁，有些现在已经出现在我们面前了。近期威胁基本上有两条：
第一条，它正在让很多蓝领工人和下层白领失去工作岗位。现在较低层次的人工智能已经在很多工厂里被大量采用。有些人士安慰我们说，以前各种各样新的技术发明的时候，也曾经让一些工人失去岗位，后来他们不都找到新的岗位了吗？但是人工智能不一样。你们也许已经在媒体上看到过了，包括人工智能的从业者自己也都在欢欣鼓舞地展望，说我们现在绝大部分的工作岗位，人工智能都是可以替代的。
果真如此，显然这个社会将会变成绝大部分人都是没有工作的，只剩下少数人有工作。对于这样的社会，我们人类目前没有准备好。我们今天如果有少数人没有工作，多数人有工作，我们把少数人养着没问题，这样的社会是我们现有的社会制度和伦理道德结构能够承受的。但是如果颠倒过来，这个社会中有相当大的比例——且不说超过50%，按照那些对人工智能的展望，将来90%以上的工作岗位都是会被人工智能取代的。比如说你们想听一场这样的报告也用不着找我来做，找个人工智能来做做就可以了，说不定比我的听起来还要来劲。
当这个社会大部分人都没有工作的时候，社会会变成什么样？肯定会非常不稳定。那么多没有工作的人，他们可以用无限的时间来积累不满，酝酿革命，于是就会危及社会稳定。无论东方还是西方，无论什么意识形态的社会制度，在这个形势面前都将黯然失色。所以说人类还没有准备好。
顺便再展望一下，既然90%以上的工作岗位都可以由人工智能来取代，那么“革命战士”这种工作岗位能不能由人工智能来取代？革命能不能由人工智能来发起和进行？当然也可能。但是想想看，这样的革命会带来什么呢？很简单，那就是科幻影片《黑客帝国》和《未来战士》中的世界——人类被人工智能征服、统治、压迫。
这是人工智能近期的第一个威胁，现在在很多工厂已经出现了。对工厂来说，这个级别的人工智能是很容易实现的。那些工厂的管理者说，我们换一个机器人上来，它的成本只不过是三个工人一年的工资，但是它们管理起来太容易了。管理工人很难的，你让他加班他不愿意，加得多了他可能跳楼自杀或上街游行，而机器人你让它24小时一直干着都没有问题，管理成本又节省下来——管理成本往往是无形的，不是那么容易计算的。结果是，换用机器人很容易就可以收回成本，一年就收回来了。所以他们乐意用机器人取代工人。我看见我们一些地方政府还通过政策鼓励当地的工厂用机器人来换掉工人，你就不想想，你所在的城市，不需要几年，几百万工人失去工作，到那个时候后悔就来不及了。
人工智能第二个近期的威胁，刚才汪镭教授也说了，加入的军队的人工智能是可怕的。但现在以美国为首的某些发达国家，最起劲的事情就是研发军事用途的人工智能。研发军事用途的人工智能本质上和研发原子弹是一样的，就是一种更有效的杀人手段。为什么伊隆·马斯克之类的人也号召要制止研发军事用途的人工智能？道理很明显，研发军事用途的人工智能，就是研发更先进的杀人武器，当然不是人类之福。
今天我们只能、而且必须抱着和当年搞“两弹一星”类似的心态来进行军事用途的人工智能研发。军用人工智能就是今天的“两弹一星”。
比较理想的局面，是各大国坐下来谈判，签署限制或禁止人工智能的国际协议。目前国际上已出现一些这样的倡议，但仅来自某些学者或学术机构，尚未形成国家层面的行动或动议。
中期威胁：人工智能的反叛和失控
我们再来看人工智能中期的威胁。大家肯定早就媒体上看到过，有一些人工智能的专家出来安慰大家说，你们现在不要担心，人工智能现在还很初级，即使它战胜了李世石，不过是下个棋，即使它会作诗、写小说，它还是很低级的，你们不用担心。这种安慰非常荒谬。
我们都知道那个
“养虎遗患”的成语，如果那些养老虎的人告诉我们说，老虎还很小，你先让我们养着再说，我们能同意这样的论证吗？你让我们同意养老虎，就得证明老虎不会吃人，或者证明你养的不是老虎。要是老虎养大了，它要吃人了，就来不及了。
这个成语非常适合用来警惕人工智能的失控。各种各样的科幻作品，刚刚主持人也提过了，像影片《黑客帝国》中的场景，人工智能建立了对人类社会的统治，我们人类就完蛋了。我们为什么要研发出一个统治我们的超级物种？这是会失控的。针对这种失控，一部分专家安慰大家说人工智能现在还很低级，你们不用担心，这个论证是不充分的。老虎虽然小，也不能养。
当然，还有一部分专家说，你想让我们提供关于人工智能这个“老虎”不吃人的证据，我们有啊，我们有办法让我们的人工智能不吃人，不反叛，变成不吃人的老虎。理由是什么？我们只需要在人工智能那里给它设定道德戒律。
围绕在人工智能中设定怎样的道德戒律，用怎样的技术去设定，专家们确实已经想过各种各样的方案了。但是这些方案可行吗？任何一个具体方案，如果仔细琢磨，就会发现这些方案都是有问题的。但是我们当然不可能在这里逐个纠缠这些方案——待会在讨论中我们或许可以挑个把方案仔细讨论讨论。我们先不考虑具体的方案，我们只要考虑一个总体的情形，就足以让我们警惕。
简单地说，如果通过为人工智能设置一些道德戒律，就指望它不会学坏，那么请想一想，我们人类到现在为止，能够做到让每一个后代都学好吗？做不到。我们总是有一部分学坏的后代。对这些学坏的后代，难道家长和老师没有向他们反复灌输过各种道德戒律吗？况且社会还有各种各样的法律制约，结果仍然还有一部分人不可避免地学坏。
从这个情形来推想，人工智能就算是你的一个孩子，你能确保他不学坏吗？
更危险的事情是，人工智能会比人类更聪明。现在人类有一部分后代学坏，还没有颠覆我们的社会，那是因为他们毕竟没有变成超人，总体跟我们是一样的，一小部分人学坏，大部分人还是可以制约他。要是那个学坏的人是超人，他掌握了超级智能后依然学坏，你就将没办法控制它。然而现在人工智能研发追求的是什么境界？不弄出“超人”来，科学家肯罢手吗？
所以，那些盲目乐观，说我们能让人工智能不学坏的人，请先解决怎么确保我们人类自己的后代不学坏吧。如果人类不能在总体上杜绝我们后代的学坏，那你们对人工智能不学坏的信心从何而来？
在考虑人工智能的中期威胁时，还必须考虑人工智能与互联网结合的可怕前景。主要表现为两点：
1、互联网可以让个体人工智能彻底超越智能的物理极限（比如存储和计算能力）。
2、与互联网结合后，具有学习能力的人工智能，完全有可能以难以想象的速度，瞬间从弱人工智能自我进化到强人工智能乃至超级人工智能，人类将措手不及而完全失控。
另外，鼓吹人工智能的人在安慰公众时，还有一个非常初级甚至可以说是相当低幼的说法：“我们可以拔掉电源”。专业人士在试图打消公众对人工智能的忧虑时，也经常提到“我们可以拔掉电源”的说法。但实际上他们完全知道，如今人工智能已经与互联网密切结合——事实上，这一点正是许多大企业极力追求的，借用如今高度发达的定制、物流、快递等社会服务，人工智能几乎已经可以摆脱对所有物理伺服机构的依赖。而当人工智能表现为一个网上幽灵时，没有机体和形态，将没有任何“电源”可拔。
人工智能和互联网结合以后，危险成万倍增长。以前对于个体的人工智能智能，它智能的增长还会受到物理极限的约束，但一旦和互联网结合，这个物理极限的约束就彻底消失了。所以人工智能可以在极快的时间里自我进化。
去年流行一篇很长的文章，在很多圈子里风传，那篇文章稍微有点危言耸听，但结论我同意。作者想论证这样一种前景，就是说人工智能一旦越过了某个坎之后，自我进化的速度是极快的，快到不是以年月来计算，而可能是以分钟来计算，以秒来计算。一瞬间它就可以变成超级人。一旦变成超人以后当然就失控了。因此说老虎还小的人，你以为老虎跟现在一样一年长出一点来，如果这个老虎一分钟长大一倍，这样的老虎还了得？虽然现在很小，过五分钟就能吃掉你了。
我甚至觉得，人工智能这把火玩得不好的话，不要说在座的年轻人，说不定我的有生之年就要看到灾难了。当然，对于这种事情，我本质上是乐观主义者，虽然我看到了这样危险的前景，我也还是得乐观地生活。只能如此，不能因为觉得末日可能要来临了，就不过好自己的每一天。
另外，对像汪教授这样搞人工智能的专家，我和他们是这么说的：你们要知道，在我所预言的危险前景中，你们是最危险的，因为你们就在老虎旁边，老虎最先要吃的，很可能就是你们这些人，所以要特别警惕。
远期威胁：终极威胁是消解人类生存的根本意义
从中期看，人工智能有失控和反叛的问题，但是人工智能的威胁还有更远期的，从最终极的意义来看，人工智能是极度致命的。
大家肯定听说过阿西莫夫这个人，“机器人三定律”就是他提出来的。现在在搞机器人的行业里，有的人表示三定律还是有意义的，但是也有一些专家对这个三定律不屑一顾，如果对三个定律仔细推敲的话，我相信汪教授肯定会同意下面的说法：这三定律绝对排除了任何对军事用途机器人的研发。因为只要让人工智能去执行对人类个体的伤害，哪怕是去处死死刑犯人，就明显违背了三定律中的第一定律。但是搞军事用途人工智能的人会说，这三定律算什么，那是科幻小说家的胡思乱想，我们哪能拿它当真呢？
很多人不知道的是，这个阿西莫夫还有另一个观点——所有依赖于人工智能的文明都是要灭亡的。
阿西莫夫有一部史诗科幻小说《基地》系列，共11卷，其中对人工智能他有一个明确的观点。对于人工智能的终极威胁，他已经不是担忧人工智能学坏或失控，他假定人工智能没学坏，没失控，但是这样的人工智能是会毁灭人类的，因为这样的人工智能将会消解我们人类生存的意义。
你想想看，所有的事情都由人工智能替你干了，你活着干嘛？你很快就会变成一个寄生虫，人类这个群体就会在智能和体能上急剧衰退，像虫子一样在一个舒适的环境里活着，
也许就自愿进入到《黑客帝国》描绘的状态中去了：你就是要感觉快活，这个时候乖乖听话的人工智能完全可以为你服务，主人不是要快活吗？我把主人放在槽里养着，给他输入虚假的快活信号，他就快活了，这不就好了吗？
从根本上来说，人工智能像我们现在所希望、所想象的那样的无所不能，听话，不学坏，这样的人工智能将最终消除我们人类生存的意义。每一个个体都变得没有生活意义的时候，整个群体就是注定要灭亡的。
所以我的结论是：人工智能无论它反叛也好，乖顺也好，都将毁灭人类。
我的观点倒是跟最近史蒂芬·霍金、比尔·盖茨、伊隆·马斯克等人联名公开信的观点一致，他们也希望各大国坐下来谈判，类似签署核裁军的国际条约那样，对人工智能也签署一个国际条约。比如说在这些条约中，我们要严禁研发军事用途的人工智能，要严禁人工智能和互联网结合起来——但现在这一步已经挡不住了，这一步已经迈出去了。
所以人工智能这个事情，无论从近期、中期、远期看，都是极度危险的。无论它们反叛还是乖顺，对人类也都是有害的。因此我完全赞成应该由各大国谈判订立国际条约来严格约束人工智能的研发。这个条款应该比美俄之间用来约束核军备的条款还要更严格，否则的话是非常危险的。
科学已经告别纯真年代
以前曾经有过科学的纯真年代，那个时候你也许可以认为科学是“自然而然”产生的，但是今天科学早就告别了纯真年代，今天科学是跟资本密切结合在一起的。所有的这些活动，包括研发人工智能，背后都有巨大商业利益的驱动。
谈到科学和资本结合在一起，我总要提醒大家重温马克思的名言：资本来到世间，每个毛孔都滴着浓血和肮脏的东西。对于和资本密切结合在一起的科学，我们的看法就应该和以前不同了。
很多人想必记得，我们以前一直有一个说法：科学没有禁区。这个说法是我们以前很多人都习惯的，但是对于这个说法，现在我们科学界的很多人已经开始有新的认识。比如说曾任北大校长的许智宏院士，前不久就对媒体表示：我们以前一直说科学没有禁区，但现在看来，科学研究仍然有着不可逾越的红线。他是在说生物技术的某些应用时说的，“不可逾越的红线”当然就是禁区了。
如果表述得稍微完备一点，我们可以说，在每一个特定的时期里，科学都应该有它的禁区，这个禁区可以在不同的时期有所改变。比如说某项技术，当人类社会已经准备好了，我们已经有成熟的伦理或者比较完备的法律来规范它的时候，我们也许可以开放这个禁区，说这个事情现在可以做了。但是没准备好的事情，现在把它设为禁区是应该的，这个禁区也应包括科学技术的高低维度，高到一定程度就有可能变成禁区，不应该再继续追求了。
发展科学这个事情，在今天，其实各国都是被绑架的。已经领先的怕被别人超越，当然不能停下来；尚未领先的，当然更要追赶。结果谁也不肯停下来或慢下来，谁都不敢停下来或慢下来，因为害怕“落后了就要挨打”。所以只有各大国坐下来开谈判，设立条约，不然毫无办法。在这种局面中，只要有一个人开始做不好的事情，比如研发原子弹或军事用途的人工智能，其他人就会被迫跟进，结果大家都会被绑架。
载2016年7月29日《文汇报》
部分内容载2016年12月22日《南方周末》2017年1月6日《文汇笔会》推送
