未来科技探索
伦理、安全与自动驾驶汽车
文| Philip Koopman 卡内基梅隆大学
Benjamin Kuipers 密歇根大学
William H. Widen 迈阿密大学
Marilyn Wolf 内布拉斯加大学林肯分校
译|程浩然
本次圆桌会议探讨了快速发展的自动驾驶技术的伦理和安全问题。
这场圆桌会议反映了作者之间关于自动驾驶汽车（AV）设计的伦理问题的虚拟对话，他们每个人都在以不同的方式研究这些问题。 Philip Koopman是卡内基梅隆大学的工程教授，自动驾驶汽车安全工程方面的专家。Benjamin Kuipers是密歇根大学的计算机科学和工程教授，从事人工智能（AI）研究，专注于基础知识领域，包括伦理学。 William H. Widen是迈阿密大学法学院的法学教授，一直在研究证券法披露和伦理之间的关系，这些关系涉及 AV公司大规模部署 AV技术的决定。Marilyn Wolf是内布拉斯加大学林肯分校工程系的 Koch教授和计算机学院院长，研究兴趣包括嵌入式计算机视觉。
主持人：非常感谢各位参加这次虚拟会议。我认为，我们正作为一个不同寻常的小组，来共同探讨这个重要的话题。AV已经在非常短的时间内，从科幻小说中的构想发展为先进的原型系统。这些车辆带来了新的问题类型，而整个行业只有有限的时间来解决。我希望我们今天的讨论能够帮助确定一些有趣的问题，以及其可能的答案和进一步研究的途径。让我们提出一个问题作为开场——我们所说的自动驾驶汽车或“AV”是什么意思？
Koopman：我们可以用非正式的定义来回答这一问题，即自动驾驶汽车是一种没有人实时负责操控车辆的汽车。如果车内或远程监控车辆的人会因犯错导致车祸而受到指责，那么我们就不认为这辆车是自动驾驶的。
主持人：所谓的“电车难题”已经成为自动驾驶汽车设计伦理的一个热门讨论点。谁能为我们简单介绍一下这个问题？这个例子有多大作用？
Widen：“电车难题”是一个道德难题，在这个难题中，人们必须做出选择，是否拉动开关将失控的电车引向有一名工人的轨道，并远离有五名工人的轨道，而这两种选择对被撞者都是致命的。它基于*初由菲利帕-福特在1967年提出的情景，朱迪思-贾维斯-汤姆森在1985年的《耶鲁法律杂志》的一篇文章中将其命名为“电车难题”。
这是一个人为设计的例子，是有一定结果的二元选择。大多数人都有道德直觉，会出于功利主义的角度，拉动开关去撞一个人而不是撞五个人，以减少生命的损失。
Koopman：作为一个实际问题，“电车难题”分散了人们对更紧迫的伦理问题的注意力，例如作出部署决定的管理模型。
虽然思考“电车难题”在智力上是有趣的，但现今的技术还远远没有达到那种程度。它假定车辆能够完美地评估交通状况，并准确地预测行动的可能结果，如低速车辆撞击将对可能涉及的每个人造成多大的伤害。我们还没有做到这一点，甚至还差得较远。
Widen：“电车难题”是一个哲学反思的思想实验，而不是一个寻求现实世界的答案的问题。然而，在很多没有意识到这一点的文章之中，人们已经耗费了大量的笔墨。
大多数人所说的“电车难题”实际上是一个“电车情景”[1]。*初的“电车难题”将开关处的人比作医生，他决定是否摘取一个人的器官以挽救五个人的器官。随之而来的问题是，为什么医生摘取器官的决定会受到普遍谴责，但几乎每个人都认为拉动开关以牺牲一个人来挽救五个人是被接受的或必须这样做的。挑战在于解释我们不同的道德直觉，虽然表面上是相似的——在两种情况下都需要牺牲一个人来挽救五个人[2]。
Kuipers：尽管“电车难题”的假设不适合现实世界中的 AV，但*近引起广泛关注的著名的“道德机器”投票实验[3]恰恰是做了这些假设，我把这一点提出来供大家讨论。
Widen：“道德机器”是一项实验伦理学的实践，数百万人参与了由麻省理工学院人员发起的在线民意调查，并收集了来自世界各地的选择，例如“如果需要救小孩，你会不会调转车头去撞老奶奶？”像这样的决定引起了人们的关注，因为它违反了所有的人都应该被平等对待而不考虑个人特征的想法。它有点像一种过于精确的功利主义计算，在原则上听起来不错，但实际上很少（如果有的话）付诸实践。我们不仅对不平等待遇感到担忧，而且还有一种深刻的感觉，即任何这样的尝试在任何情况下都可能出错。民调可能决定我们的伦理原则的想法引起了我们的担忧，因为我们认为伦理道德不应只是由民调决定。
Kuipers：关于“电车难题”本身，在一个连续的 AV驾驶世界中，鉴于 AV 中的传感器提供的感知图像，*好将其表示为可能世界的概率分布。在那个（庞大的）可能世界集中，那些只提供两种可能结果（杀死 A 与杀死 B）的世界构成了一个非常小的子集，概率非常低。出现更多可能结果的概率会大很多，而其中也会包括许多预测危害较小的结果。同样，行动的结果是不确定的，意外的结果是真实存在的。事实上，Philippa Foot早在1967年[4]就指出（当她第一次开始考虑电车情景时），现实世界是基于概率分布的而不是确定性的。
在所有这些不确定性中，使预期效用*大化的行动（使死亡和伤害*小化）很可能是以中间结果为目标的行动，*大程度上将*可能的结果与灾难分开。即使灾难真的发生了，AV也试图避免它。
然而，每个参加驾驶培训的年轻学生都会学到一个更好的办法来解决这个问题。当你转入一条狭窄的街道时，突然出现的障碍物可能是不可避免的，为了以防万一，要减速。驾驶技术不是来自于学习两害相权取其轻，而是来自于学习识别“上游决策点”，从而完全避免两难局面。
“道德机器”实验定义了一个围绕两种邪恶的“盒子”，并迫使参与者根据可能受害者的情况和个人特征选择拯救谁。“电车难题”做了同样的事情，但它只考虑潜在受害者的数量，而不是个人特征。熟练的司机，无论是人类还是 AV，都会在这个盒子之外思考。AV开发者的责任是确保 AV对“上游决策点”有必要的了解，并具有根据情况需要适当行动的技能。
Koopman：我同意 Kuipers的观点。你想要的是一个足够“聪明”的 AV，以避免从一开始就陷入“无望取胜”的局面。正确的想法是预测可能的危险并避免它——这是防御性驾驶的经典做法。
Widen：我不会把重点放在有确定结果的人工约束的二元选择上。Kuipers的关于我们如何教学生驾驶的观点抓住了这个基本理念。有确定结果的受限二元选择，在现实世界中大多不会出现。正如 Kuipers和 Koopman所指出的，现实世界中的问题并没有确定的结果，而是以大大小小的概率存在于真实世界中，而技术还远远没有达到能够在概率环境中处理这个问题的程度。我想我们都同意，“电车难题”对于伦理性的AV设计来说，关注的是错误的东西。
主持人：大家对麻省理工学院的“道德机器”调查还有其他见解吗？
Koopman：作为一个实际问题，让 AV拥有足够的信息来尝试这种方法是不现实的。而且它是一台机器，谁想让一台机器根据个人特征来决定谁生谁死？
Widen：我在佐治亚理工学院看到了能够识别行人的技术（至少是基本的方式），我看到了该系统在动态视觉场景中对不同区域进行风险分配的方式。这包括了场景中不同的人被分配不同的值，如果这些信息可以通过非视觉方式提供的话（例如，通过从一个人的手机上获取信息，我们假设每个人都携带手机）。因此，作为一个技术发展问题，“道德机器”中的噩梦场景似乎并不遥远。
Koopman：一个能够以相当的精度做到这一点的样本可能并不遥远了。但是能够实时、大规模、高精确度地做到这一点的演示是相当遥远的。如果医护人员在决策算法中被赋予了一个高值，但只有那些穿工作服的人被识别出来，那该怎么办？然后你会怎么处理那些穿着“安全防护服”的冒名顶替者？我不认为这种类型的技术在实践中是可行的。“道德机器”对于 AV安全来说是不现实的，因为它假设车辆拥有在现实世界的危机情况下不可能获得的知识，例如潜在受害者的年龄和职业。(如果有人建议使用手机信息来支持这样的计划，这将创造一个即时的欺骗市场，即使它可以在实时的规模下完成。）
德国道德委员会在2017年发布了一份报告，明确采取防御性驾驶的规定。他们禁止牺牲非涉事方，并明确谴责任何使用基于年龄和性别等个人特征的分类，正如“道德机器”所做的那样。
主持人：短期内，鉴于机器学习（ML）/人工智能的现状，我们预计会遇到哪些问题？
Koopman：这项技术的一个重要问题是未知数。如果你从根本上采取 ML的方法对你所看到的东西进行训练，那么当你在训练或测试中偶尔遇到那些著名的“不知道自己不知道”时，会发生什么情况？更糟糕的是，如果我们发现，“不知道自己不知道”本身就是不可知的呢？
当 AV 行业开始获得大量资金时，我将其所需的安全性定为比人类驾驶员安全10到100倍，原因有二：
（1）每次有人被 AV杀死，公共信息和诉讼领域都会看到一个因车辆故障而死亡的受害者，而不是统计学上得救的人。所以，它的事故率*好是大幅度减少的。
（2）在*初的部署中，预期的道路安全可能会有很大的不确定性。10倍或更多的安全系数为你提供了一些空间，因为现实世界比你在测试期间预想的更复杂，这是不可避免的。
我们现在的情况是，我们希望 AV拯救生命的承诺能够实现。AV会犯与人类司机不同的错误，而且没有机构知道要花多长时间才能使平衡点有利于 AV。我真的希望看到一个可信的安全案例，并有可靠的证据支持，AV至少与人类司机一样安全。
Kuipers：对人工智能和机器人技术（包括 AV）的一种看法是，将它们视为具有潜在影响的技术，例如核能和基因工程。在部署该技术之前，我们尝试仔细考虑成本和收益以及我们需要何种程度的理解。随着决定是否大规模部署 AV的时间临近，我们都预计在评估 AV的真正安全性方面会出现问题。制定标准和指标将是AV行业的核心问题。
关于人工智能（包括机器人和 AV）还有另一种观点。我们正在创建能够感知世界的代理，根据这些感知创建自己的世界模型，并就如何行动做出自己的道德决定——下一步要采取什么行动。这需要人工智能系统开发人员了解什么是道德以及机器人如何表达和使用道德知识。这比仅仅在成本/收益基础上考虑一项有影响力的技术的部署是否会导致公用事业的正平衡更为复杂。这种功利性计算需要人类开发者的伦理思考。我认为在部署前需要对机器人如何表示和使用道德知识进行解释。
Widen：我担心的是，对于 AV的购买者来说，什么样的披露是合适的。如果 AV的部分功能是在算法中以“基于规则的”原则设计的，那么如何向消费者准确地描述 AV的这一方面信息至关重要。对于 Kuipers关于部署的重要观点，我想补充一点，AV行业已经显示出没有能力或不愿意明确确定部署标准的迹象。这个问题在美国证券交易委员会（SEC）*近为 Aurora Innovation， Inc.提交的文件中已经出现。(我*近在一篇关于 SEC披露的文章中提到了这个问题。）
Koopman：使用 ML技术打破了传统的设计“V”流程（V的左边是自上而下的设计，V的右边是自下而上的验证），20多年来这一直是基于计算机的系统安全工程的基础。虽然你可以尝试让一个基于 ML的过程看起来像一个 V，但你很容易削弱或失去明确的设计意图。所以，你很难知道你是否在 V的右边做了正确的测试，以确保设计意图已经实现。在实践中，经常可以看到部署中出现的意外情况，而大多数测试人员做梦也想不到这些情况与安全关键行为有关。
Wolf：像 ISO 26262（基于 V流程的汽车功能安全标准）这样的方法论将更多的通用保证方法包裹在控制理论这样的分析方法中，以描述特定情况，如阶梯响应。这些
展开
