斯图尔特•罗素（Stuart Russell）

 加州大学伯克利分校计算机科学家，人类兼容人工智能中心（CHAI）主任，人工智能研究实验室指导委员会（BAIR）成员。

 世界经济论坛人工智能和机器人委员会副主席，美国科学促进会（AAAS）会士，美国人工智能协会（AAAI）会士。

 曾与谷歌研究总监彼得•诺维格合著，出版了人工智能领域里的“标准教科书”《人工智能》，该书被128个国家的1400多所大学使用。

 获得过多项科学荣誉，包括美国国家科学基金会总统青年研究员奖、国际人工智能联合会议（IJCAI）计算机与思想奖、国际计算机学会（ACM）卡尔斯特朗杰出教育家奖等，并受邀在TED、世界经济论坛演讲。

从比尔•盖茨、埃隆•马斯克到霍金，众多企业家和科学家都曾表示担心AI对人类生存造成的威胁。真的有一天，人类会成为自己发明的机器的受害者吗？

在过去相当长的一段时间里，人类之所以能控制地球，是因为人类的大脑比其他动物的大脑要复杂得多。但如果AI变得比人类更聪明，我们要如何掌控这个世界？智能是一种权力，我们能否控制智能，决定了我们未来的命运。

这本书讲述了我们为理解和创造智能，在过去、现在和未来所做的尝试。这很重要，并不是因为AI正迅速成为当前的一种普遍现象，而是因为它是未来的主导技术。世界上的各个大国正在意识到这一事实，各家大公司也早就知道这一点。

作者在书中提出了一个大问题：如何破解人机共存密码，掌控比我们强大得多的智能，让AI获得新生？这可能是人类面临的最后一个大问题。这本书的目的是解释为什么这可能是人类历史上的最后一件事，以及如何确保这不会成为现实。

01 如果我们成功了

很久以前，我父母住在英国伯明翰大学附近。后来他们决定搬出这座城市，并把房子卖给了英语文学教授戴维•洛奇（David Lodge）。那时候，洛奇已经是一位著名小说家了。我从未见过他，但我决定读读他的书：《换位》和《小世界》。书中的主要人物都是学者，他们从伯明翰搬到了加州伯克利。而我正是刚刚从伯明翰搬到伯克利的学者，这一系列的巧合似乎在提醒我要多多注意。

《小世界》中有一个特别的场景令我印象深刻。主人公是一位有抱负的文学理论家，他参加了一个重要的国际会议，并问一群领军人物：“如果所有人都赞同你们的观点，接下来会发生什么？”这个问题引起了恐慌，因为专家组成员更关心的是智力竞赛，而不是弄清真相、获得认同。当时我想到，我们可以对人工智能领域的领军人物提出一个类似的问题：“如果你们成功了会如何？”该领域的目标一直是创造出达到或超越人类水平的人工智能，但人们很少或根本没有考虑过，如果我们创造出了这样的人工智能会发生什么。

几年后，我和彼得•诺维格（Peter Norvig）开始编写一本新的人工智能教科书，书的第一版于 1995 年出版。这本《人工智能》的最后一节题为“如果我们成功了会如何”，它指出了出现好结果和坏结果的可能性，但没有得出明确的结论。到 2010 年第三版出版的时候，许多人终于开始考虑，创造超越人类的人工智能可能不是一件好事，但这些人大多是局外人，而不是主流的人工智能研究人员。到了2013 年，我开始相信这个问题不仅是主流的人工智能研究人员应该考虑的问题，而且可能是人类面临的最重要的问题。

2013 年 11 月，我在伦敦南部一座久负盛名的艺术博物馆——杜尔维奇绘画馆演讲。听众大多是退休人员，他们不是科学家，但是普遍对智能问题感兴趣，所以我只好做一次完全非技术性的演讲。这似乎是一个在公共场合验证我的想法的合适场所。在解释了人工智能是什么之后，我提出了 5 个“人类未来最大事件”的候选选项：

1. 我们灭亡了（因为小行星撞击、气候灾难、流行病等）。

2. 我们都能永生（医学攻克了衰老）。

3. 我们发明了超光速旅行，征服了宇宙。

4. 高级外星文明造访了我们。

5. 我们发明了超级人工智能。

我认为第 5 个候选选项，即我们发明了超级人工智能，将会胜出，因为如果可能，超级人工智能将帮助我们避免灾难，实现永生和超光速旅行。它将代表我们文明的一次巨大飞跃，或者说一次突变。超级人工智能的到来在许多方面类似于高级外星文明的到来，但前者更有可能发生。也许最重要的是，人工智能不同于外星人，它是我们对其有发言权的东西。

然后，我让听众想象一下，如果我们收到一个来自高级外星文明的通知，说它们将在 30 到 50 年后到达地球，会发生什么。 “乱作一团”这个词并不能准确地描述这种情景。然而，我们对超级人工智能即将到来的反应却是……“冷淡”。（在后面的演讲中，我用图 1 所示的电子邮件交流的形式对此进行了说明。）最后，我将超级人工智能的意义解释为：超级人工智能的成功将是人类历史上最重大的事件……或许是人类历史上的最后一个事件。

在那之后几个月，也就是 2014 年 4 月，我在冰岛参加一个会议，美国国家公共广播电台打来电话，问我是否可以接受他们的采访，谈谈刚刚在美国上映的电影《超验骇客》。虽然我已经看过了剧情概要和影评，但我还没有看过电影，因为我当时住在巴黎，电影要到 6 月才会在巴黎上映。然而碰巧的是，我在从冰岛回家的路上绕道去了波士顿，参加美国国防部的一个会议。所以，到达波士顿洛根机场后，我乘出租车去最近的电影院看了这部电影。我坐在第二排，看到约翰尼•德普饰演的加州大学伯克利分校人工智能教授遭到了对超级人工智能存有担忧的“反人工智能激进分子”的枪击。我不由自主地瘫倒在座位上。（又是巧合在警示我吗？）在这名教授死去之前，他的意识被上传到一台量子超级计算机上，这台计算机迅速超越了人类的能力，威胁要接管世界。

2014 年 4 月 19 日，我和物理学家迈克斯•泰格马克（Max Teg-mark）、弗兰克•威尔切克（Frank Wilczek）、史蒂芬•霍金（StephenHawking）合写的关于《超验骇客》的影评被发表在了《赫芬顿邮报》上。其中包括我在杜尔维奇绘画馆的演讲中谈到的人类历史上最重大的事件。从那时起，我便公开承认，我的研究领域对我自己所属的物种构成了潜在危险。

我们如何走到今天？

人工智能的起源可以追溯到很久以前，但它正式启动是在 1956年。两位年轻的数学家约翰•麦卡锡（John McCarthy）和马文•明斯基（Marvin Minsky）说服了著名的信息论创始人克劳德•香农（Claude Shannon）和 IBM（国际商业机器公司）第一台商用计算机的设计者纳撒尼尔•罗切斯特（Nathaniel Rochester）加入他们，一起在达特茅斯学院组织一个暑期项目。项目的目标如下：

这项研究基于一个猜想：“学习”的各个方面或“智能”的任何特征在原则上都可以被精确地描述出来，所以人们可以制造一台机器来模拟“学习”或“智能”。人们试图让机器使用语言，形成抽象概念，解决现在人类面临的各种问题，并让机器自我改进。我们认为，一个精英科学家小组如果共同努力一个夏天，就可以在其中的一个或多个问题上取得重大进展。

不用说，我们花费的时间已经远远超过了一个夏天，但我们仍在努力解决这些问题。

在达特茅斯会议后 10 年左右的时间里，人工智能取得了几项重大成功，包括艾伦•罗宾逊（Alan Robinson）的通用逻辑推理算法和阿瑟•塞缪尔（Arthur Samuel）的西洋跳棋程序，这个程序通过自学战胜了它的创造者。第一次人工智能泡沫在 20 世纪 60 年代末破裂，当时，人们在机器学习和机器翻译方面的早期努力没能达到预期。英国政府在 1973 年委托撰写的一份报告中总结道：“到目前为止，该领域的任何发现都没有产生当初承诺的重大影响。”换言之，这些机器不够智能。

幸运的是，当时 11 岁的我并不知道这份报告。两年后，我得到了一台辛克莱剑桥可编程计算器，我想让它变得智能。然而，辛克莱的程序有 36 步运算限制，这对于人类级别的人工智能来说还不够大。我并没有泄气，而是使用伦敦帝国理工学院的CDC 6600超级计算机编写了一个国际象棋程序——一沓两英尺高的穿孔卡片。虽然这个程序不够好，但是没关系。我知道我想做什么。

到了 20 世纪 80 年代中期，我已经成为加州大学伯克利分校的一名教授，由于所谓的“专家系统”的商业潜力，人工智能正在经历一次巨大的复兴。当这些系统被证明无法完成人们指派给它们的许多任务时，第二次人工智能泡沫破裂了。同样，这些机器也不够智能。人工智能的寒冬随之而来。我在伯克利开设的人工智能课程目前有 900多名学生，而在 1990 年，我只有 25 名学生。

人工智能界吸取了教训：显然，机器越智能越好，但我们必须做好功课才能做到这一点。这个领域与数学的关系变得尤为密切。人们将人工智能与历史悠久的概率论、统计学和控制理论建立了联系。今天，进步的种子是在那个人工智能的寒冬播下的，包括对大规模概率推理系统以及后来众所周知的深度学习的早期研究。

从 2011 年前后开始，深度学习技术开始在语音识别、基于机器视觉的物体识别和机器翻译方面取得巨大进步，以上是人工智能领域最重要的三个开放问题。从某些方面来看，机器在这些方面的能力已经达到甚至超过了人类的能力。2016 年和 2017 年，DeepMind（英国人工智能公司）的 AlphaGo（阿尔法围棋）击败了前世界围棋冠军李世石和后来的冠军柯洁，而此前一些专家预测，这种事情如果会发生，也要到 2097 年才会发生。

如今，人工智能几乎每天都会出现在媒体的头条报道中。在大量风险投资的推动下，成千上万家初创公司应运而生。数以百万计的学生参加在线人工智能和机器学习课程，该领域专家的年薪可达数百万美元。来自风险基金、国家政府和大公司的投资每年达到数百亿美元，该领域过去 5 年获得的资金超过了其在先前整个历史中所获得的总额。无人驾驶汽车和智能个人助理等已经在酝酿中的技术进步，很可能在未来 10 年左右对世界产生重大影响。人工智能潜在的经济效益和社会效益是巨大的，这为人工智能研究提供了巨大的动力。

接下来会发生什么？

这种快速的进步是否意味着我们即将被机器超越？不是。我们在拥有类似的具有超人类智能的机器之前，必须要实现几项突破。

众所周知，科学突破是很难预测的。为了了解到底有多难，我们可以回顾一下另一个领域的历史，这个领域具有终结文明的潜力，那就是核物理学。

20 世纪初，也许没有哪位核物理学家比质子的发现者、“分裂原子的人”欧内斯特•卢瑟福［Ernest Rutherford，图 2（a）］更为杰出。与他的同事一样，卢瑟福早就意识到原子核储存了巨大的能量，然而，主流观点认为开发这种能源是不可能的。

1933 年 9 月 11 日，英国科学促进协会在莱斯特举办年会，卢瑟福在晚间会议上发言。正如他之前几次所做的那样，他向原子能的前景泼了冷水：“任何想从原子的转变中获取能源的人都是异想天开。”第二天早上，伦敦《泰晤士报》报道了卢瑟福的演讲［图 2（b）］。

匈牙利物理学家利奥•西拉德［Leo Szilard，图 2（c）］那时逃离了纳粹德国，住在伦敦罗素广场的帝国酒店。他早餐时阅读了《泰晤士报》的报道，随后出去散步，仔细思考着报道的内容，构想出了中子诱发的链式核反应。在不到 24 小时的时间里，释放核能的问题从不可能变成了已经基本解决。次年，西拉德申请了核反应堆的保密专利。1939 年，法国颁发了第一项核武器专利。

这个故事的寓意是，与人类的聪明才智打赌是鲁莽的，尤其是在我们的未来岌岌可危的时候。在人工智能界，一种否定主义正在出现，它甚至否定成功实现人工智能长期目标的可能性。这就像一名驾驶着载有全人类的公共汽车的司机说：“是的，我正尽我所能往悬崖边开，但是相信我，在开到悬崖边之前，我们的汽油会用完！”

我并不是说人工智能一定会成功，而且我认为人工智能在未来几年内成功的可能性不大。尽管如此，为可能发生的事情做好准备才是慎重之举。如果一切顺利，这将预示着人类进入黄金时代，但我们必须面对的事实是，我们正计划着制造出远比人类强大的实体。我们如何确保它们永远不会掌控我们？

为了对我们正在玩的火有一个初步的了解，请思考一下内容推荐算法在社交媒体中发挥的作用。虽然这些算法不是特别智能，但它们能够影响整个世界，因为它们直接影响数十亿人。通常，此类算法旨在最大限度地提高点击率，即用户点击展示条目的概率。那么，解决方案就是简单地展示用户喜欢点击的条目，对吗？不对。正确的解决方案是改变用户的偏好，从而使他们变得更可预测。对于更可预测的用户，算法可以通过推送他们更可能会点击的条目，而带来更多收入。持有极端政治观点的人往往更容易被预测出会点击哪些条目。（顽固的中间派可能会点击某一类文章，但算法很难想象这类文章由什么内容组成。）与所有理性实体一样，算法会学习如何修改它的环境状态（在这个例子中是用户的思想），从而使自身获得的奖励最大化。其后果包括法西斯主义复活，支撑世界民主的社会契约被解除，这甚至可能导致欧盟和北约的终结。区区几行代码在得到了人类的帮助后，就可以导致上述后果。现在想象一下，一个真正智能的算法能做什么？

前 言  //V

01 如果我们成功了

我们如何走到今天？ //006 接下来会发生什么？ //008 出了什么问题？ //010 我们能解决吗？ //013

02 人类和机器的智能

智能 //017 计算机 //035 智能计算机 //043

03 人工智能在未来会如何发展？

近未来 //067 超级人工智能何时到来？ //080 概念上的突破即将到来 //082 想象一台超级智能机器 //095 超级智能的局限 //098 人工智能如何造福人类？ //100

04 人工智能的滥用

监督、劝导和控制 //107 致命性自主武器 //113 篡夺其他人类角色 //127

05 过于智能的人工智能

大猩猩问题 //137 迈达斯国王问题 //141 恐惧与贪婪：工具性目标 //145 智能爆炸 //147

06 不那么伟大的人工智能辩论

否认 //154 转移话题 //162 部落主义 //166 难道我们不能…… //168

辩论重新开始 //176

07 人工智能：一种不同的方法

有益机器的原则 //182 乐观的理由 //188 谨慎的理由 //190

08 可证明有益的人工智能

数学保证 //197 从行为中学习偏好 //202 辅助博弈 //205 要求和指示 //215 “主动嗑电” //218 递归式自我完善 //220

09 复杂的难题：我们

不同的人 //227 许多人 //229 善良的、可恶的、爱嫉妒的人类 //242 愚蠢的、情绪化的人类 //247 人类真的有偏好吗？ //250

10 问题解决了吗？

有益的机器 //263 对人工智能的治理 //265 滥用 //269 衰弱与人类自主 //270

附录 A 寻找解决方案 //273

附录 B 知识与逻辑 //283

附录 C 不确定性和概率论 //289

附录 D 从经验中学习 //301

致 谢 //311

注 释 //313

图片版权 //357