学：学生，教：教师，李：李晓榕
学：《人类简史》这本书最近好像很火。我买了，还没看，不知道到底怎样。
李：《人类简史》的确很好，尤其是最后一章。让我们读读其后记“变成神的这种动物”的结尾吧：
“虽然现在人类已经拥有许多令人赞叹的能力，但我们仍然对目标感到茫然，而且似乎也仍然总是感到不满。我们的交通工具已经从独木舟变成帆船、变成汽船、变成飞机，再变成航天飞机，但我们还是不知道自己该前往的目的地。我们拥有的力量比以往任何时候都更强大，但几乎不知道该怎么使用这些力量。更糟糕的是，人类似乎也比以往任何时候更不负责。我们让自己变成了神，而唯一剩下的只有物理法则，我们也不用对任何人负责。正因如此，我们对周遭的动物和生态系统掀起一场灾难，只为了寻求自己的舒适和娱乐，但从来无法得到真正的满足。
“拥有神的能力，但是不负责任、贪得无厌，而且连想要什么都不知道。天下危险，恐怕莫此为甚。”
人类的前途十分危险，即将面临一个生死存亡的路口。当前的趋势是：一方面，我们不想提高道德水平，甚至还要降低它，鼓吹人人为己，天经地义。另一方面，我们志在征服自然，大力强化人的各种机能智能，甚至力图创造新物种。比如，哈佛大学遗传学家George Church与24人联名在2016年6月2日的《科学》杂志上撰文介绍“人类基因组编写”（Human Genome Project–Write）计划，打算筹资一亿美元，在十年内打造一种全新的人类基因组，用以生成新细胞，培育新胚胎，造就新人，使之智能倍增或彻底免除疾病。还有人明确建议：精选胚胎，利用其干细胞培养精子和卵子，再让精卵结合形成新胚胎，再精选之，不断重复这一过程，使每一代胚胎都优于前代，这样就能迅速打造在某些方面远远优于普通胚胎的超级胚胎，造就新人。根据有些模型，这样重复精选10次，智商就会上升130分。很明显，这类技术一旦大面积应用，一个具有超强优势、但十分片面反常的新人类就会出现，正常的人类就会成为新人类的仆人奴隶。即便有此灭顶之灾的风险，如果听任自由，能够发展这样惊险刺激的科技，做出如此巨大的“贡献”，难道没有科技大佬、巨擘、怪才会乐而为之？
人工智能、生物技术、纳米技术等诸多领域片面的大力发展，有可能造出在某些机能和智能方面大大超越人类的机器人。它们无视道德，毫无善心，纵然原本不想，也有可能在邪恶势力的操控影响下，奴役杀戮乃至毁灭人类，就像不少科幻小说预言的那样。不过我认为，更可能而可怕的是：依靠生命科学、神经科学、认知科学、基因技术、人工智能、网络技术、纳米技术，等等，特别是它们的结合，科技成果会被用于改造人类，包括改进机能，增强智能，激发潜能，尤其是人机结合，甚至创造新物种，造就某种意义上的超人半神。比如，先天和后天的生理因素对智力差异的影响很大；人的智力（例如认知能力、学习能力、记忆力、反应速度等）有赖于生化过程，无疑可以改进。随着对基因、人脑、人工智能等领域研究的不断深入，科技必能在越来越多方面增强人的智能，甚至可能创造新物种。按现在“只要能力，不顾道德”的趋势而不根本改变，这种片面发展的超人必定是“能力巨人，道德侏儒”，这跟凶神恶煞、妖魔鬼怪有何区别？这就是我们极端希望和努力追求的人类未来？
人类的智能在地球上早已无与伦比，成了“万物的灵长”。人类早已没有天敌、没有克星，能够威胁人类未来的只有人类本身。所以，《蒙田随笔》说：世上没有那种野兽比人类自身更加令人类畏惧了。进入现代以来，更是如此。因此，要达到平衡而继续繁衍下去，全凭自我克制，而道德的本质是自我约束，有所为有所不为。人类是否有未来，就看是否有这种大智慧了。在这种情况下，还一味增强智能，不提高道德水平，后果必然是自取灭亡。这个进步的末日正在向我们招手呼唤。让我们看看前车之鉴吧：科学史这门学科的开创者萨顿（George Sarton）等人认为，古希腊人的智力活动与他们的政治智慧和道德智慧完全不成比例，以致于他们不再作为一个民族而存在（古希腊人亡国后，历经千年民族混血，早已消融于欧洲多个民族之中）。现代西方文化可以说是古希腊文化的现代强化变种，我们为什么要重蹈覆辙？半个多世纪前，控制论的开创者维纳就对技术进步发出警告1：我们或者谦卑而有一个机器辅助的好生活，或者傲慢而死。人类有百万年的采摘狩猎前文明、近万年的农耕文明和几百年的现代科技文明。《人类简史》一书认为，农业是“进步”史上的最大骗局。其实，资本主义的科技文明弄不好会后来居上，成为更大的骗局，甚至导致人类灭亡。
教：我看不出现在正是一个十字路口。人类除了变得更进步更强大之外，还会有其他可能吗？还有，即使有可能，为什么说当下是这么一个生死存亡的路口呢？
李：事态已很紧迫，不可再贻误战机。事到临头再抱佛脚，人类就会灭亡或者万劫不复。有些精英预言，人类会在2040年代面临全面超越人类而达到所谓“奇点”式的智能爆炸：一旦超越人类智能，它就会自我设计，造出更强智能，这样不断循环，就会实现数学上的“奇点”式飞跃。其首要代表是谷歌的工程总监、未来学家库兹韦尔的《奇点临近》（Ray Kurzwell, The Singularity Is Near: When Humans Transcend Biology）。人工智能学者渥维克的《机器的征途》（Kevin Warwick，March of the Machines）一书也说，到2050年机器人就将统治人类。果真如此，那么大家的最好未来是在老年后成为超级智能一统世界中的臣民或奴隶，在此预先祝贺了。
学：是吗？谁信呢？这也太不靠谱了吧？
教：真有这事？我也不信。他们是严肃认真的吗？
李：是的，他们极其严肃认真，甚至不惜为之献身。大部分专家认为广义人工智能（即超越人类智能的超级智能）终将实现，问题只是何时实现，只有一小部分认为无法实现。比如，被不少人认为“态度公允”的《人工智能革命》（Calum Chace, Surviving AI）一书说：“只有很少数的神经科学家认为，人类永远制造不出有意识的机器来。……这种对广义人工智能持怀疑态度的人极少。所以，人类能否造出广义人工智能，这个问题在今天并无太大争议，争议比较多的是什么时候能造出来。……认为广义人工智能可能在未来几十年内出现的人，并不都是科学狂人，一些头脑清晰、经验丰富的科学家也认同这种观点。”伯思特隆姆的《超级智能》（Nick Bostrom, Super Intelligence: Paths, Dangers, and Strategies）说，他在2012-2013年间4次对人工智能领域的高引论文作者和学术会议专家的估测做了调查，综合结果是：认为在2022年之前实现超级智能的概率是10%，2040年之前是50%，2075年之前是90%。综合各专家的预期，中间值大致在21世纪中叶。
经生命体与各种科技的综合，千百年后可能会全方位彻底超越当前的人类智能，对此我不否认，但应该不会在本世纪发生。否则人类要有未来，除了立即停止这些科技发展，别无选择。
科技痴迷者总是过高地估计科技的成就和发展速度，对于实现广义人工智能的可能性及其时间，人工智能专家当然整体更乐观。让我们先听听人工智能的开山大师们的预言吧：西蒙（Herbert Simon，他与中国颇有渊源，自取中文名“司马贺”）在1965年预言2：二十年之内，机器就能完成人能做的任何工作；马文·明斯基（Marvin Minsky）在1967年预言：一代人之内，创造人工智能的问题就将获得本质解决（不过，他否认在1970年做过著名预言3：三到八年后，我们将得到具有人类平均智能的机器）；麦卡锡（John McCarthy）在1960年代中也预言仅需一个十年就可能研制出完全智能的机器。人工智能之父图灵（Alan Turing）也有类似的预言。这些预言都极不靠谱。尽管如此，机器人专家莫拉维克（Hans Moravec）在1991年仍预言，第二代机器人（2020年之前）和第三代（2030年之前）的智力将分别达到老鼠和猴子的水平，第四代（2040年之前）的智力将超过人类。库兹韦尔在1999年的一本书中预言，到2029年，智能软件会被广泛掌握，每台一千美元的个人计算机相当于1000个人脑。
大脑神奇至极，虽然竭尽全力，人类至今对其工作机制所知甚少，以致有些专家甚至认为靠大脑是不可能破解大脑之迷的。上述精英在这种情况下做出如此惊世骇俗的大胆预言，虽然难以令人信服，但在放大其时间尺度后，仍可能实现。态度比较公允的《科技失控》4一书说：“尽管在实现重大的人类增能方面进展缓慢，尽管各种新的复杂性使得我们仍然无法了解究竟何时才能实现，但是超人类学者以及他们的批评人士都认同这样一个基本认识，即科学上的进步很快就能够实现完全改变人类的基因、智力和身体。人们将很容易获得超级技能，很快将出现能力超凡的半机器人和技术智人。”可见，形势十分严峻。
重大科技的发展常常历经坎坷，在失败中前进。所以，人类增能和创造新人类的阻力会很大，发展不会一帆风顺，会有好多代人不断历险、反复试验，其间肯定会有重大反复。事关人类的根本利益，成败都十分敏感。每一个重大成就都会产生巨大推力，而每一个重大失误，都会带来反复和停顿，并纠正航向。
对此，我的基本观点是，人类增能得有一个前提：人类增德，否则就不该允许人类增能。因为道德不足的超人，就是魔鬼。而且，只增能不增德意味着人类的末日，由这种人构成的社会无法持续。比如说，人人都有核武器般的威力而又不够道德，一言不合，就动武，毁灭世界。另一方面，科技发展本身绝不会自动使人类增强道德，所以要靠道德指导科技发展来让人类增德，而道德的本质是自我约束，有所为有所不为。
_______________________________
1.Norbert Wiener: We can be humble and live a good life with the aid of the machines, or we can be arrogant and die.
2. Herbert Simon: Machines will be capable, within twenty years, of doing any work a man can do.
3. In from three to eight years we will have a machine with the general intelligence of an average human being. I mean a machine that will be able to read Shakespeare, grease a car, play office politics, tell a joke, have a fight. At that point the machine will begin to educate itself with fantastic speed. In a few months it will be at genius level and a few months after that its powers will be incalculable. From Brad Darrach, “Meet Shaky, the First Electronic Person: The Fascinating and Fearsome Reality of a Machine with a Mind of Its Own,”Life, November 1970。见John Markoff, Machines of Loving Grace: the Quest for Common Ground between Humans and Robots, 2015。
4. W. Wallach, A Dangerous Master: How to Keep Technology from Slipping Beyond Our Control。书名的中译给人错觉，以为作者偏向于反对技术发展，其实作者的观点相当公允。此书书名直译为《危险的主儿：怎样不让技术失控》。
正在出的博文系列：
与师生谈现代化之弊
1：崛起的代价 2：发展必好无疑？ 3：发展的恶果 4：科技进步果真进步？ 5：科技的罪责
6：开发进步善哉恶哉？7：现代化恶果之因 8：现代化恶果之因2 9：资本主义与个人主义 10：资本主义的修正与回潮
11：全球化的好歹 12：全球化的好 13：西化、现代化、全球化 14：现代化的本质 15：文化全球化？
16：妈的奶贼腥 17：多元优越 18： 四大主义 19：“化私为公”的隐形手 20： 进步的魔咒
21：进步的陷阱 22：进步的后果 23.成功的反噬 24：进步的残酷 25: 进步到恶神末日
与师生漫谈科研文化
1：我有科研之才吗？ 2：我该做科研吗？ 3：逻辑推理的作用 4：人生价值 5：生命的延续
已出博文系列：
与师生谈科学之弊
1：线式因果思维1 2：线式因果思维2 3：线式因果思维3 4：螺环之奇妙 5：幻化的因果
6：不牢靠的因果推理 7：分析还原病 8：还原论教条 9：基因未必基因 10：割根裂本
11：强拆硬分 12：科学的领地 13：科学的致命伤 14：科学的致命伤2 15：逻辑之可错
16：逻辑可错之源 17：“脚踏实地”的逻辑？18：逻辑：真理焉？宗教焉？ 19：想不清原理 20：想不清原理2
21：逻辑教的改革 22：逻辑教的改革2 23：精确性的终结 24：科学哲学 25：务外逐物
26：科学六弊 27：科学之弊总结
与师生谈科研选题：
1：科研的战略、战术和战斗力 2：选题三准则：趋喜避厌 3：选题三准则：如何培养兴趣 4：选题三准则：择重舍轻，扬长避短
5：得题之关键 6：如何应对新潮 7：选题四建议 8：总结：选题好比找对象
与师生谈研究策略：
1：科研四要素 2：突出重围的法 3：人人信之而善忘的黄金法则 4：孤胆方是英雄，独创才有真才 5：大道至简，科学之魄
6：弃繁就简 7：以特制胜 8：综括 9：反行众道，改形换状 10：迷雾中的灯
11：技穷时的上策 12：驾驭时间之术1 13：驾驭时间之术2 14：保质增产之法 15：类比、联想、猜测、推证
16：评估 17：总结与回顾
与师生谈学习门径：
1：广度与深度 2：增加深度的窍门1 3：增加深度的窍门2 4：增加深度的窍门3 5：增加深度的窍门4
6：增加深度的窍门5 7：增加深度的窍门6 8：如何培养直觉和想象力？ 9：基础不好，死路一条？10：阅读策略1
11：阅读策略2 12：博览之术 13：增强记忆1 14：增强记忆2 15：如何听讲
16：最佳捷径
与师生谈科研输出：
1：论文写作五要点 2：论文的结构、条理和语言 3：标题、摘要、引言、结论 4：作学术报告四建议 5：与编审人员打交道
与师生谈科研道德：
1：何谓弄虚作假 2：何谓剽窃？ 3：何谓自我剽窃？ 4：版权
5：谁该当作者？ 6：署名顺序怎么定？ 7：其他学术不当行为 8：总结
