人工智能是我们所处的数字化时代的基础技术和通用技术，但人们对它的认知却呈现出两极分化的特点。一方面，有不少人认为“真正的人工智能”还远未出现，一旦出现则将给人类带来生存危机；另一方面，更多的人认识到它早已遍布在我们日常生活的各个方面，却并未带来任何革命性的变化。这两种认知都各自揭示了人工智能技术的某些特点，但也体现了各自的盲区。前者将人工智能误以为是具有人类那样的自我意识和适应各种环境的全局心智架构的超级人工智能，而后者忽视了推荐算法、深度合成算法、自然语言处理技术等看似寻常的人工智能技术应用给人类社会的生产和生活带来的潜移默化且影响深远的变化。
到目前为止，人工智能对人类社会产生的最大影响不是其复制或超越人类智能的能力，而是其对人类智力的影响：它使得人类越来越依赖机器、注意力持续区间越来越短（所谓的“两秒钟注意力”）、越来越容易受到算法的诱导。简言之，在机器变得越来越“聪明”的同时，人类正变得越来越傻。这种情况的发生，显然不是因为人工智能技术本身，而是由于人工智能技术当下主流的商业应用模式，或者说是由于数字科技企业为大规模获取、分析和利用我们的数据而构建的数字生态系统。人工智能立法应当从行为主义走向生态主义，从算法治理走向人机交互界面治理。
从行为治理到生态治理
包括人工智能在内的数字科技的广泛应用使我们全面进入了数字社会。数字社会的特征在于它的人造性。当我们注册使用任何一个应用界面的时候，我们都是进入了一个人为打造的数字小生境。我们的每一次点击、每一次观看、每一次查阅、每一次分享都会产生供这个小生境的创造者采集、分析和使用的数据。这时候我们不再是传统意义上的用户或消费者，而是数据的生产者，甚至是产品本身。换句话说，当你使用数字产品或服务的时候，它们也在使用你。而我们的法律仍然在使用起源于农业社会和早期工业社会的二元线性关系的框架来处理数字社会的非线性复杂问题，这导致我们不仅无法解决问题，甚至连发现真实问题都很困难。
一个例子是数据交易制度。无论是2020年的《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》，还是2022年的《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》，都提出了“探索建立数据产权制度”的要求。在两份重要文件发布的间隔之中，上海、深圳等城市建立了数据交易所。但数据交易所是政策推动的产物，而不是真实市场需求的产物，这从稀少的交易量就可以看出来。因为几乎所有数字科技企业都没有将自己所控制的数据打包进行交易的需求，它们通过自己设计的算法架构来获取数据，用这些数据来训练和优化算法，并最终在自己所控制的架构中实现数据的商业价值。比如，淘宝和拼多多的算法架构可以实现买卖双方需求和供给的精准匹配，在每一笔交易中提成；抖音的算法架构向用户精准推荐和投放短视频内容，并基于自己精准推荐的能力从广告商那里收费；腾讯借助微信、QQ等免费社交媒体服务获得大量用户，通过对用户数据的分析以及由此产生的行为预测和行为诱导能力来获取广告收入和游戏收入。所有这些企业都没有数据确权和交易的需求，它们的数据在它们用算力和算法搭建起来的架构中流动，产生着源源不断的价值。
另一个例子在反垄断法之中。尽管《反不正当竞争法》和《反垄断法》分别从保护消费者权益和防止滥用市场支配地位的角度，尝试对相关法律关系进行规制，但仅限于规制具体行为。要构成《反垄断法》意义上的违法行为，市场主体必须在相关市场上具有市场支配地位，并且做出了滥用支配地位的具体行为，比如阿里针对淘宝商户的“二选一”政策。但像阿里这样的平台企业不只是一种新型的市场主体，而是一种新型的市场。它们实际上控制着拥有上亿供方和需方的数字化市场的准入、规则制定、价格形成和纠纷解决。传统的竞争法所依据的经济学理论一方面忽视了市场主体之间日益加剧的不平等，另一方面也忽视了“意思自治”的不可能。除了经济处境和谈判能力等早已被揭示出的不平等外，数字经济环境中更主要还是算力上的不对等。就意思自治而言，数字技术的商业应用本身就是在精准操控人们的意思形成和意思表示。更不用说，面对冗长繁琐的用户协议和其中包含的隐私政策，很少有用户会从头到尾读完再选择点击同意或不同意，或者说，即使有人耐心读完恐怕也不得不选择同意，否则便无法使用一种急需的服务。
实际上，规则制定者们已经意识到了平台作为新型市场这一特点，比如《国务院反垄断委员会关于平台经济领域的反垄断指南》对平台的定义便是“通过网络信息技术，使相互依赖的双边或者多边主体在特定载体提供的规则下交互，以此共同创造价值的商业组织形态”。在这个定义中，平台不是市场交易主体，而是为交易主体创造交易条件的“商业组织形态”，即市场。但在具体的规则设计中，则未能从这一定义出发推演出新的规则，而是回到了对市场主体进行行为规制的老路。
在目前的规则体系中，只有《网络信息内容生态治理规定》超越了传统的思维框架，从生态和架构的角度入手，要求平台承担作为生态维护者的责任。比如其中第九条规定：“网络信息内容服务平台应当建立网络信息内容生态治理机制，制定本平台网络信息内容生态治理细则，健全用户注册、账号管理、信息发布审核、跟帖评论审核、版面页面生态管理、实时巡查、应急处置和网络谣言、黑色产业链信息处置等制度。”这一立法思路与欧盟《数字市场法》中的数字市场“守门人”（gatekeeper）概念十分类似。根据这部法律，符合以下三个标准的平台将被确定为守门人并承担普通私法主体不必承担的责任，比如为其他开发者提供交互可操作性的义务等。这三个条件是：（1）提供核心平台服务。核心平台服务是指充当企业用户接触最终用户的门户，包括在线中介服务、搜索引擎、社交网络、视频共享、无需拨号的人际通信服务、操作系统、浏览器、虚拟助手、云计算服务以及线上广告服务。（2）在欧盟范围内市场上有可观的影响力。影响力的量化标准是过去三个财务年度中每年在欧盟范围内市场上的营业额超过75亿欧元或上一财务年度的平均市场估值超过750亿欧元，并且至少在三个成员国提供核心平台服务。（3）享有已确立的或可预期的牢固地位。判断标准是在过去三个财务年度中的每一年在欧盟范围内拥有平均每月至少4500万位最终用户或至少1万位企业用户。
当下，将欧盟的数字守门人概念与我国《网络信息内容生态治理规定》中的生态治理概念结合起来，针对内容服务、电子商务、社交媒体、搜索引擎和共享服务等不同类型的平台确立守门人标准和相应的生态维护与生态治理义务，就可以形成一种更加符合数字科技产业特征的法治化模式。
从算法治理到人机交互界面治理
人工智能通常被想象为替代人类的技术，在法律领域，机器人法官、机器人律师往往引发人们的担忧，尤其是生成式人工智能的突破性发展造成了新一轮“机器取代人”的焦虑。但人机共生和人机交互才是现在和近期未来的普遍现象。目前的算法治理提出了算法可解释性、算法透明、算法备案、算法审计等针对算法本身的规范性要求，这些要求即使能够落实也很难发挥作用，因为深度学习算法的运行即使对其设计者来说也是不透明、无法解释的。更具有现实意义和可操作性的人机交互界面设计规则却未能进入立法者的视野。
与以往的“非智能”工具相比，人工智能技术的最大特点在于它的“学习”能力。学习在这里有着特殊的含义，用人工智能技术的理论奠基者之一、图灵奖和诺贝尔经济学奖得主司马贺的话来说：“学习是一个系统中的任何导致该系统适应环境的能力发生或大或小的永久改变的变化。”人工智能学习的素材是人类的行为数据和文本、音视频等内容数据，通过学习，它能够分析和预测人类行为（分析式人工智能），也能够生成新的内容（生成式人工智能）。也就是说，它能够在与人类进行交互的过程中提升自己的能力，能够发现海量人类行为数据和内容数据中潜藏的范式和规律，并基于此生成让人会误以为是人类创作的内容。这种“活的”或“智能化”的工具是人类以往没有使用过的，也使得人机交互变成了真正的“互动”。也正是因为它的这个特点，从人机交互的界面设计、过程治理和结果控制入手来规制人工智能技术的应用变得十分重要。遗憾的是，现有的涉及包括人工智能在内的数字科技的法律规则仍然是将人和物（工具）分开来进行考量。一部分规则从技术对人的影响入手，侧重保护人的权利（比如隐私权和个人信息权益）；另一部分强调人对技术的控制（平台责任中的专人负责规则），而缺乏对人机交互作为一种系统性存在的考量和规制。
通过架构设计、应用编程界面（API）和用户界面设计（UI）而搭建起的电商平台、社交媒体平台和内容平台，如今已成为人们日常生活中不可或缺的参与社会生活和经济生活的媒介。平台借助机器学习算法来获取、分析和使用用户数据，对用户进行标签化识别、画像和行为操纵。在平台用算法编织成的巨网面前，个人是透明的，而其所面对的界面是平台设计的结果，其背后的运作机理是普通用户、甚至外部监管者都难以知其深浅的。从某种意义上说，数字社会总体上就是一个算力集中的黑箱社会。而暗模式（Dark Patterns）是这个黑箱上向用户开放的窗口。
暗模式是指设计者故意迷惑用户，使用户难以表达他们的实际偏好，或操纵用户付出原本不必付出的额外金钱、时间或个人信息。他们通常利用认知偏差，促使在线消费者购买他们不想要的商品和服务，或者透露他们在充分知情的情况下本来不愿透露的个人信息。暗模式是用户体验设计界的常用伎俩。在数字生态中，一切关乎设计，而设计是平台主导的。设计师使用暗模式来隐藏、欺骗和诱使用户泄露信息。他们通过以非专家无法理解的提问方式来混淆用户，通过隐藏可以帮助用户保护其隐私的界面元素来混淆用户，设置需要注册和相关的披露才能访问功能，将信息共享与应用内福利联系起来，并将恶意行为隐藏在法律隐私政策的深渊中。
人机交互界面治理的现有立法例
暗模式存在于各种类型的平台和网络服务中。比如，在电商平台，它主要表现为不合理的差别定价，也就是我们经常听说的“大数据杀熟”。一人一价、价格不透明以及比价困难是电商、预订类平台和网约车平台常见的特点，而这些平台是通过架构设计和用户界面设计来实现这种特点的。正如一篇研究“暗模式治理”的经典论文写道：“决策架构，而不是价格，驱动着消费者购买决策。”
对此，我国的相关立法采取了行为界定的传统模式，禁止不合理差别定价的行为。比如《个人信息保护法》第24条规定：“个人信息处理者利用个人信息进行自动化决策，应当保证决策的透明度和结果公平、公正，不得对个人在交易价格等交易条件上实行不合理的差别待遇。”不过，这种针对行为而不是架构确立的法律规则无法解决普遍存在的暗模式问题，使得不以价格而以过度获取个人信息为表现形态的商业模式无法得到规制。
从域外经验来看，有美国加州和欧盟的相关规范值得参考。美国加州的《隐私权法》（CPRA）是世界上第一部对暗模式作出明确界定的法律，它将暗模式定义为“一种人为设计或操纵的用户界面，其实质效果是颠覆或损害用户自主性、决策或选择”，并规定受暗模式诱导而表达的同意不是真实的同意，合同自始无效。即将于2024年3月开始实施的欧盟《数字服务法》则对暗模式有更加详细的界定：“在线平台界面上的暗模式是有意或实际上严重扭曲或损害服务接受者做出自主且知情的选择或决定之能力的做法。这些做法可用于说服服务的接受者做出其本不想做出的行为或做出会给其带来不利结果的决定。在此定义的基础上，该法禁止数字服务提供者采用符合暗模式特征的界面设计。”
暗模式治理只是从人机交互界面设计入手来控制数字科技给人带来的损害和风险的一个例子。法律无法也不应直接去规范技术，而应当规范和控制技术对人造成的影响。着眼于人机交互界面设计，是找准人工智能法律规制着力点的一条捷径。
（作者系上海交通大学凯原法学院教授）
