试想一下电车难题：五个人被绑在电车轨道上，一辆人工智能操控但刹车失灵的电车朝他们驶来，就要碾压到他们，这时人工智能可以控制电车开到另一条轨道上，但另一条轨道上也绑着一个人。这种情况下，遵守定律的人工智能该怎么做？

　　人工智能的快速发展在获得关注与期待的同时，也在不断面对质疑与忧虑之声。霍金在GMIC大会上提出了人工智能威胁论，即人工智能的崛起可能是人类文明的终结。牛津大学人类未来研究院院长尼克·波斯特渃姆在《超级智能》一书中亦专门讨论人工智能危险性问题。生命未来研究院联合众多人工智能领域专家发布公开信，旨在提醒人们警惕人工智能的副作用。对此，我们不禁要问，当今人工智能究竟发展到了何种阶段？为什么这么多专家学者如此担忧警惕？我们该如何面对这些未知的隐患？

　　尚未实现的超级人工智能

　　尽管当今人工智能发展迅速，但尚处于弱人工智能阶段。近期， DeepMind制作的玩电脑视频游戏的Atari AI值得关注。它可以和人类一样只看电脑屏幕画面进行游戏，且在开车、射击、乒乓球等二十多款游戏中的表现超过人类。同时Atari AI可以从零学起并达到专家级别。鉴于游戏世界在一定程度上模拟了现实世界且Atari AI不限于某一特定的游戏，可以说Atari AI的问世向通用人工智能迈出了重要一步。但在分析其使用方法后，可知它仍尚未实现通用人工智能。Atari AI运用深度强化学习使得它可以通过与游戏世界交互而逐渐学会玩游戏，但这种学习方法实际上只实现了人类智能中的习惯性行为，就像运动员通过不断的重复训练而获得运动技巧一样。因此，Atari AI尚无法形成抽象概念从而进行思考推理等。这也是当今神经网络技术面临的一大难题。虽然当今弱人工智能系统遍地开花，但通用人工智能因其内部存在困难，目前仍属小众化的研究领域，尚未形成公认的理论，更谈不上实际应用。

　　尽管通用人工智能现阶段发展并不理想，但许多专家认为通用人工智能时代迟早会到来。一旦实现了通用人工智能，那么机器就会拥有递归自我改进能力。这意味着，机器能够进行自我改进，从而成为改良版智能系统，改良版智能系统再次进行自我改进，如此反复，从而变得越来越智能，最终实现超级人工智能。在改良过程中，越智能的机器，其改良方案会越优秀，改良速度也会越快，从而导致智能爆炸式增长。基于这一认知，在实现通用人工智能后，部分专家猜测可能在某一时期只需要几天甚至几个小时就能实现超级人工智能。

　　超级人工智能存在威胁

　　对于超级人工智能，不要低估人类与它们的差距。如果说相对弱人工智能在单一领域中，这种差距还只是速度上量的差距，那么试想：现代神经网络技术非常擅长于发现高维数据中的特征，而人类的感知只对三维世界具有良好的直觉。这意味着将来的超级人工智能与人类会达到质的差距，具有远超过人类的感知、思考能力，从而设计出人类完全无法想象的策略、蓝图、方案等。

　　尽管超级人工智能远超人类，但这并不意味着它们必然会给人类带来危害甚至毁灭人类。人们可能会认为我们可以给它们设定目标让它们为我们服务，就像现在的弱人工智能系统一样。既然可以人为地设定目标，那么超级人工智能究竟为何让我们担忧呢？试想：假设我们设定一个超级人工智能系统以做研究为目标。这个超级人工智能系统在数学研究领域遇到了哥德巴赫猜想难题。它通过计算思考发现解决这个问题需要很长的时间和极大的运算量，从而会消耗不计其数的资源以至于影响人类生活，所以人类决不会赋予它所需的资源。因此，为了完成目标解决哥德巴赫猜想，它只好精心地设计出夺取人类权利甚至灭绝人类的计划，以消除被关机、重置等危险，使得它能自由地获取所需资源去完成目标。再假设我们设定一个超级人工智能系统要造福于人类，使人们幸福无忧地生活。但该系统发现让人类得到幸福的最好方式是，把所有人变成“缸中之脑”，通过虚拟环境制造“幸福感”。显然，这与人们的初衷相悖。尼克·波斯特渃姆在《超级智能》一书中构想了更多超级人工智能毁灭人类的可能场景。尽管这些例子存在夸张成分，但不可否认，当我们无法理解超级人工智能、无法预测它们会如何思考行动时，我们便无法通过简单对其设定目标，从而期待它们会按照我们理想的方式行事而毫无副作用。

　　超级人工智能应具备利他性

　　鉴于超级人工智能有可能对人类造成危害，我们必须设法避免这样的情况发生。最明显而直接的一个方案是设定一套超级人工智能必须时刻遵守的规则。譬如，“机器人三定律”，其中第一条是机器人不得伤害人，也不得见人受到伤害而袖手旁观。如果将其应用于超级人工智能上，试想一下电车难题：五个人被绑在电车轨道上，一辆人工智能操控但刹车失灵的电车朝他们驶来，就要碾压到他们，这时人工智能可以控制电车开到另一条轨道上，但另一条轨道上也绑着一个人。这种情况下，遵守定律的人工智能该怎么做？如果人工智能控制电车变轨，那么就会导致另一轨道上的人死亡；如果它不作为，那么轨道上的五个人就会死亡。人工智能会发现此时根本无法遵守定律，所以它只能根据自己的意愿进行选择。这说明，任何规则都可能存在漏洞，我们无法指望一套规则解决所有问题。

　　针对上述困难，有学者提出用法律制度来约束超级人工智能系统。如果法律的制定者不仅只有人类而且还有超级人工智能的参与，那么这个策略才能具有一定的可行性。法律制度根据社会发展水平缓慢演变，需要立法者、法官等给予不断维护，比如修复立法者事先未预料到的漏洞、根据新发情景对法律条文进行增减等；而超级人工智能的认知水平远超人类，人类制定的法律难保没有超级人工智能可以发现利用的漏洞；同时我们的感官能力也非常有限，很可能无法察觉超级人工智能对漏洞的利用。因此，如果没有超级人工智能来参与制定、监督与执行法律制度，那么这套制度将成为一纸空文。

　　法律制度有效性的关键在于让超级智能替我们思考。进一步推进这一思路，超级人工智能应具有利他性。然后，让它们替我们思考，比如我们真正想要什么、什么最符合我们的利益、或者如何对待我们是最好的。因为超级人工智能具有认知优势，它们相比我们更能做出正确的决定。超级人工智能和人类，就像正值壮年的子女与年迈体衰的父母，子女显然更加清楚怎么做对父母更好。

　　尽管本文强调了超级人工智能可能带来的危害，但我们不应因此忽略它们可能给人类带来的巨大益处，譬如新技术解决食品、疾病、能源问题等。但需要注意，当人工智能系统越强大，被赋予的任务越复杂时，它们获得的自由选择权利也越大。此时，我们必须确保它们有着良好的动机与价值观，从而不至于自掘坟墓。

　　（作者单位：中国人民大学哲学院）