像所有其他高技术进展引起的担忧和恐慌一样，正在狂飙猛进的人工智能技术研究及其应用也在最近几年来引起了相当程度的恐慌——已经有不少专业人士指出，与实际的进展相比，这些恐慌更可能是不恰当的新闻传播导致的一种心理效应。技术伦理的悲观人士像以往任何高技术有所进展时所表现的一样，提出了他们强烈的建议：应当禁止那些总体上超越人类能力的人工智能研究。具有讽刺意味的是，与技术伦理的乐观主义者相比，技术伦理的悲观主义者可能更大程度属于技术发展的乐观主义者，他们必定认为，目前某个正在进展中的研究对人的尊严和安全的冒犯正迫在眉睫，而不是遥远的将来；否则，他们何以会如此急切地提出禁止研究的动议呢？
划清人工智能存在与使用的界线
人工智能伦理的悲观主义者通常会援引前例来增强他们的说服力，例如，十余年前我们就禁止了克隆人的研究。比这个类比性理由更学术化的理由是，任何现代技术都必须通过研究得到，如果我们能够禁止这样的研究，那么这样的技术就不可能出现或存在，那么，其应用也就不可能，很自然地也就不可能冒犯人类的尊严、危及人类的安全；而如果允许这样的技术研究，也就允许其出现和存在，那么，很自然地就会得到应用，从而造成违背伦理原则的不良后果。
回应上述观点之前，可以先看看是否应该禁止总体能力超越人类的人工智能研究。思想实验能够使得问题更为明晰：现在，假定有一台全功能机器，它的各方面能力（体力的和智力的）都超越人类的实际能力，但是它唯一的无能是不能自动运行，必须依赖人的操作和控制；问题是：这样的机器是否允许存在？
很显然，人对这台机器的操作和使用将构成一个智能系统，其总体能力将超过通常的人类个体，在效应上等价于一个总体能力上超过人类的人工智能。如果我们要禁止总体能力上超过人类的人工智能，无疑应该禁止这样的机器生产出来。但是，另一方面，由于该机器能力的展现完全依赖于人的操作和控制，它本身（内在地）就不会对人类构成任何威胁，我们就没有理由禁止这样的机器存在。
这个有趣的思想实验可以作出多角度的讨论。一个符合伦理悲观主义的答案或许是：允许机器的存在，但禁止人对其使用。但这个答案仍然是有问题的，如果这种使用促进了人类的福祉并维护了人类的尊严，为什么要禁止呢？因此，合适的答案必须考虑到使用的具体目的，而不是一般性禁止。不过，就本文的写作目的而言，笔者只关心禁止其使用和禁止所存在的语义学差别，这样就可以在其存在和使用之间划出一个较为清晰的界线。这个界线等价地投射到人工智能技术上，下面就可以论证这样的规范：应当允许这种人工智能技术的实验性研究，但可以禁止其开发性应用。这个规范可以被称为人工智能技术的不扩散准则。
是否应该禁止某些技术研究是一个一般性的问题，而不只是在人工智能伦理中存在争议的问题；因此，有必要对一般性的概念作出分析。一般地，我们会认为，技术是利用科学知识发明出来的操作知识形态，总是指向某种实际的使用或应用目的，而如果没有应用目的，一项技术就不可能被发明出来。但是，这种一般性观念是可疑的。实际的应用目的未必内在于技术。例如，假如人类在互联网技术之前并没有发明电报技术，那么，当互联网技术出现之后，电报技术很显然是没有实际应用价值了，也不可能将实际应用当作其目标；但即使如此，电报技术依然是一种技术，依然可以被发明出来。因此，技术本身只是在自然规律的基础上展示世界可能的存在样式，它可以被实际使用，也可以不被实际使用。
由于技术作为纯粹的操作知识形态可以不被实际使用，那么，在技术的纯粹形态和实际应用性之间就存在着重要的差别。这个重要的差别就是前述的技术研究和技术应用之间的差别。技术研究与科学研究一样，都是满足人类好奇心的一种智力活动，不同的似乎只是，科学研究属于发现范围，而技术研究属于发明范围，前者展示的是世界如何运行的知识，而后者展示的是世界如何可以拥有不同于现实存在的可能样式。可以用不同语言形式来表达科学知识和技术知识的这种差别，科学知识是“如果世界某个部分是这样的，那么其中会有那样的运行规律”，而技术知识是“如果我们对世界的某些部分作出这样的操作，那么它们可能会有另外的存在方式或结果”。
不过，科学知识与技术知识的表面差别是可以消除的，在外在化技术应用目的之后，科学知识完全可以还原为技术知识。科学知识的获取常常通过科学实验获得，而科学实验必须借助于实验操作，对一个基于假说-演绎模型的实验，实验的客观结果（由假说演绎出的结论）就是该实验技术过程所要达到的主观目的，因此，实验过程完全适应上述技术知识的语言表述形式。
如果纯粹技术本身也是一种知识，那么它就与科学知识一样，是具有内在价值的。具有内在价值的事物在一般意义上是有理由存在的。因此，回到人工智能研究上，即使总体能力超过人类的人工智能技术可能被暂时禁止使用，也应当被立项研究。
另一方面，正因为技术的应用性只是外在价值，我们才可以禁止某些技术的使用——如果应用性是技术的内在价值，那么技术就应当被要求使用，而不应该禁止。
既然技术研究本身是有价值的，而技术应用又是技术的外在价值，那么，在技术研究到技术应用之间就存在一个伦理规范，这个规范既可以很好地保护技术的内在价值，又防止其外在价值违背人类的内在价值。这个规范就是技术的不扩散准则。
技术的禁止使用与具体情景相关
既然技术的应用价值外在于技术本身，那么其被禁止使用就不是必然的，而是与具体情景相关的。这种情景性决定了其禁止是暂时的或局部的。例如，目前关于无人驾驶的人工智能技术，根据不扩散准则，其实验性研究应当是允许的，但由于安全性尚未得到普遍评估、道德和法律责任尚未清楚划定，就应当暂时禁止其使用。另一个更鲜明的例子是人工智能武器，就其知识价值而言，应当允许进行研究，但如果技术伦理学的研究表明其严重的不可接受的非人道性，则当永久禁止或不扩散。
诚然，由于不同内在价值之间可能存在冲突，技术研究本身如果必然地冲突于人类内在价值，如知识的获取必须以对人类不可接受的尊严冒犯和身心伤害为前提，那么其研究也应当禁止。前述某些克隆人技术之所以应当被禁止，就是因为这样的克隆人技术成熟之前必定造成死胎和畸胎等不可接受的伤害，而应用后必然以制造人的方式冲突于人类的尊严。就人工智能技术而言，脑机接口研究中的逆向控制（人工智能反过来直接控制人）如果造成不可逆的后果（对意志能力的永久改变），那么也应当被禁止。更极端地，如果有人想研究人工智能终身控制人的后果、实际地取代人类的后果（模拟研究除外），也应当被禁止。
至于伦理悲观主义者为了防止有人在禁止的情况下仍然违禁应用某些人工智能技术，从而主张在研究环节就开始禁止，是很容易反驳的：既然我们无法阻止有人实际地违禁应用，我们大概也无法阻止有人实际地研究并应用。因此，技术的实际应用和研究这个事实不应当是我们确立规范的基础，即“是”推不出“应该”。况且，研究所获得的知识有可能让我们应对违禁应用产生的后果，因此，研究的好处可以平衡了因为研究而便利了后续违禁的坏处；最为重要的是，研究获得的知识在不冲突于人类价值的情况下本身具有内在价值。
【本文系国家社科基金重大项目“基于虚拟现实的实验研究对实验哲学的超越”（15ZDB016）以及教育部人文社科规划基金“实践知性与行动动机”（15YJA720010）的成果】
