隼眼科技

德国出台关于自动驾驶的 20 大伦理准则

对于自动驾驶,技术研发只是问题之一。在更多人眼中,伦理困境其实才是自动驾驶更难逾越的鸿沟。


电车难题:不变道就会压死五个人,但要救这五个人就必须变道压死另一个人…

在今年 5 月发布全球首部自动驾驶法律后,近期德国又出台了全球首套自动驾驶伦理准则。该伦理准则由德国联邦交通与数字基础设施部下设的伦理委员会起草,共有 20 条。

总体来看,这一准则在如下范畴规定了自动驾驶汽车的行为方式:

- 自动驾驶的首要目标是提升所有交通参与者的安全,在同等程度上降低所有交通参与者的风险;

- 从伦理层面上,允许自动驾驶系统发生事故;

- 自动驾驶系统要同等对待所有交通参与者,不能有任何歧视,也不能直接做出「撞一个救五个」的决定;

- 自动驾驶系统不能解决「电车困境」等难题,而是要防止这样的难题发生;

- 人的生命安全优先于其他利益,在发生事故时,可以牺牲财产及动物的生命,以保护人的生命安全;

- 必须清晰界定机器和人的责任,机器不能取代或优先于人的自主决定权,面对不可避免的事故,最终的行为决定权还要由人掌握;

- 自动驾驶技术的发展和应用,不应受到「技术强制力」的影响;

- 数据主权及使用由车辆所有者或使用者决定,第三方不应僭越;

- 除了技术投放之外,也应该教会人如何使用自动驾驶系统


德国联邦交通与数字基础设施部伦理委员会发布研究报告

此前,你或许已经看到了关于这一消息的简短报道。今天,车观察将在国内首次为你奉上 20 条伦理准则的中文译文。相信看过之后,你会对自动驾驶的伦理判断有更深的理解——

自动及网联化汽车交通伦理准则

1. 部分及完全自动化的交通系统,首要目标是提升所有交通参与者的安全。此外,它还涉及交通流动性的提升以及其他效益。在自行担责的行为自由层面,技术的发展服从于「私法自治原则」*。

译注:私法自治原则 (Prinzip der Privatautonomie) 是指法律确认民事主体可以自由的基于其意志去进行民事活动的基本原则

2. 对人的保护优先于所有其他利益考量。目标是减少乃至完全避免损失。自动化系统的准入许可,前提条件是其必须比人工驾驶行为带来更少损失,即实现正面的风险平衡。

3. 自动及网联化系统在公共交通环境的引入和许可,其保障责任由公共部门承担。因此,驾驶系统需要官方的批准及监管。(引入自动驾驶的)主导纲领是减少事故的发生,在总体风险得以降低的情况下,技术层面无法完全回避的风险与这一纲领并不相悖。

4. 个人对自己的决定负责,这是一种社会表象。在这一社会中,独立个体发展的权利以及受保护的需求处于核心位置。因此,一切关于国家及政治秩序的决定,都要服务于人的自由发展以及对人的保护。在一个自由社会中,关于技术的法律设计应该实现如下目标:即在一般发展秩序下个人自由决定权的最大化、与他人的自由及安全之间实现平衡。

5. 自动及网联化技术应在实际可行的范围内,最大程度避免事故的发生。依据各自特点,技术的设计应完全避免出现进退两难的情况,即自动驾驶汽车不可回避地要在两个恶果中选择一个(译注:如电车困境)。(实现这一目标)需要全方位的技术应用,并对其不断完善——这其中包括:将技术的应用限制在可控的交通环境中、车辆传感器及制动辅助、向受到威胁的群体发出信号指示,以及通过智能交通基础设施实现的危险预防措施等。研发与监管的目标是使交通安全得到显著提升,进一步来说,在车辆的设计及编程环节,就要保守而有预见性地考虑到交通弱势群体(Vulnerable Road Users)。

6. 如果能带来损害的降低,那么引入更高级别的自动驾驶技术(尤其是当其能够自动防碰撞),在社会及伦理层面都是适宜的。但是,如果受到了技术强制力**的影响,以法律形式命令、或在实际中不可回避地应用完全自动化交通系统,在伦理层面就是有问题的。

译注:技术强制力 (Technische Imperative) 理念,认为新技术是不可回避且必要的,而且因为社会福利的考量,新技术必须被发展和接受。

7. 在所有技术手段都无法避免的危险状况下,对人生命的保护在法律考量上高于一切。因此,在技术可行性框架范围内,为了避免人身伤害,程序要接受对动物或财物的损害。

8. 在两难境地中做出何种决定(如在不同生命间的权衡),取决于具体情况(包括不可预知的行为)。因此,这些决定无法被明确的标准化,也不可能被写成在伦理上无异议的程序。系统的设计必须建立在对事故预防之上,但在面对复杂或直观的事故后果评判时,系统不能通过标准化的形式,替代或优先于一位拥有伦理意识、负责任的驾驶员所作出的决定。尽管人类驾驶员可能在紧急情况下做出非法的行为,(如选择撞死一个人,从而拯救另外一个或几个人的生命),但他不一定是有罪的。这种回顾性的、基于特殊实例的法律评判,并不容易被笼统抽象为「事前评估」(Ex-Ante- Beurteilungen),也就不能被转化为相应的程序。因此,应该期待通过独立公开的机构(如联邦自动化交通系统事故调查所,或联邦自动及网联化交通安全局等),对此进行系统化的处理。

9. 在发生不可避免的事故时,严格禁止将人群属性作为评判标准(如年龄、性别、身体及精神状况等)。禁止对受害者进行区别对待,其代表性案例之一,就是笼统地在程序中规定以数量作为人身损害降低的标准***。交通风险产生过程中的参与者,不能牺牲局外人的利益。

译注:例如,自动驾驶汽车发现事故难以避免,只有两种选择,一个是撞向 1 个人,另一个是撞向 5 个人,程序不能默认规定选择人数少的那一边,否则,这就是对受害者的区别对待。

伦理委员会表示:在紧急状况下,不同人生命的价值不能被「量化比较」(verrechenbar),也就是说,「撞一个人去救更多的人」这样的做法是不能被允许的。每一个个体都是「神圣不可侵犯」(Sakrosankt)的,个体不应该承担为他人牺牲的义务(即便这是拯救其他人的唯一方式)。

伦理委员会同时表示:系统程序中,以「财物伤害优于人身伤害、受伤优于死亡、尽可能减少伤亡人数」作为「最大化降低牺牲」的标准并不违背德国宪法,但其前提条件是程序要在同等程度降低所有交通参与者的风险。如果程序能以同等程度最大化降低所有人的风险,那么这一程序也就能在受害者被认定为受害者前,代表其利益。

10. 在自动及网联化驾驶系统中,原先由人承担的责任,转移到了制造商、技术系统运营商,以及基础设施、政策及法律的决策机构之上。关于法律责任的规定,以及在实务中的具体操作,必须充分考虑到这一转变。

11. 因激活的自动驾驶系统产生的损害责任,与其他产品责任适用同样的原则。因此,制造商或运营商有义务在技术可能及合理的范围内,不断优化其系统,并对已交付的系统进行监督及改进。

12. 公众有权利充分了解新技术及其使用方式。具体来说,应该以尽可能透明的形式整理出自动驾驶车辆使用及编程准则,并向公众传播,同时由专业的独立机构对其进行审查。

13. 在数字化交通基础设施的背景下,未来对所有汽车实行如铁路及航空运输一样完全的网联化和集中控制——这一做法的可能性与意义目前还无法预估。但如果无法可靠地消除对交通参与者的全面监控与车辆操纵这二者的风险,那么这样做在伦理层面就是有问题的。

14. 面对可能的威胁(尤其是对 IT 系统的操纵或系统内部缺陷),公众对道路交通的信任,不能因为自动驾驶带来的损害产生根本性的动摇。

15. 因自动及网联驾驶产生的、在车辆操纵中使用大量/少量数据、被许可的商业模式,要服从于交通参与者的自治权及数据主权。相关数据的转发与使用原则上由汽车所有者或使用者决定。这种数据披露的自愿性,可能导致真正的替代方式和实用主义操作的出现。这种现实的力量(如大量通过搜索引擎及社交网络运营商获取数据),应在早期就加以抵制。

16. 必须明确区分:(某刻)使用的是无人驾驶系统(译注:即 SAE Level 5),还是应该由有「接管」(Overruling)可能的司机承担责任。在非无人驾驶系统中,人机接口的设计,必须在每一刻都能清晰辨别:哪一方应该拥有哪种权限,尤其是哪一方应该掌握车辆的控制权。对权限(以及相应责任)的分配,应该被记录和存储下来(如按照时间点及访问规则的形式)。这一点尤其适用于人与系统之间的交接。应该形成一套交接流程、以及数据记录的国际标准,以确保在汽车与数字技术的国际推广中,协议或记录义务的兼容性。

17. 高级自动驾驶(译者注:SAE Level 3)的软件及技术的设计,必须在实际应用中消除突然将车辆控制交予人类驾驶员的情况(即「紧急状态」)。为了实现高效、可靠、安全的人机交流,并避免过重的负担,系统必须更好的适应人的交流习惯,而不是反过来要求人去更好地适应机器。

18. 在安全效益能被保障的前提下,具有学习能力、在行驶过程中自我学习的系统,以及其与中央场景数据库之间的连接在伦理上是可以被允许的。只有在满足车辆控制相关功能的安全要求、同时不违反相关规定的前提下,自学习系统才能被允许投入使用。将相关场景上传至中立机构、建立集中的场景目录是有意义的。通过这一方式可以建立起一般性规范,并进行潜在的验收测试。

19. 在紧急情况下,车辆必须自主(即没有人工帮助下)进入「安全状态」。安全状态的定义,乃至交接流程应该实现统一化。

20. 对于自动化系统的合理使用,应被纳为数字化通识教育的一部分。在驾驶培训中,应通过适当的方式,教授如何合理地使用自动驾驶系统,并对此进行考核。

自动驾驶的伦理评判一直以来都是十分残酷的挑战。麻省理工学院曾设计了一套自动驾驶伦理考题(http://moralmachine.mit.edu/hl/zh),如果你有兴趣可以尝试一下,并看看自己的选择和其他人有哪些差异。当「杀人」不可避免,你才会发现人类有多么的无助和无奈。

这也是为什么应该从顶层对自动驾驶伦理进行设计。比起人类柔软的内心,冷冰冰的秩序机器才是处理残酷问题最好的主体。尽管这份准则依然遗留了不少开放性问题,但它却已经为自动驾驶的伦理判断开辟了方向,甚至也将成为全球自动驾驶伦理设计的准绳。目前,我国有关方面也在着手推进自动驾驶的伦理研究,我们也期待能看到适应中国道路状况的伦理规范。