当地时间4月21日，欧盟出台了一项人工智能法规草案，以减轻人工智能带来的风险。这是全球人工智能领域的首次正式立法，新法规宣布成立专门机构欧洲人工智能委员会对人工智能行业进行监管，明确规定了公司和政府应当如何使用人工智能技术。

违反该法规的公司，最高将被处以上一财政年度全球营业额6%的罚款。

根据该法规，实时生物识别系统将被禁止（除特殊情形），所有的生物识别系统都将被作为“高风险”系统进行严格监管。政府不得将人工智能用于社会信用评估，而将人工智能用于教育、就业评估也将被作为“高风险”监管。

法规中写道：“该法规旨在将人工智能相关的风险和带来的问题降到最低，但又不过度约束和阻碍人工智能技术发展，或者不成比例地增加人工智能系统进入市场的成本。”

尽管如此，法规中的一些要求，在目前来看相当严厉，直接给科技巨头震慑，也引发了关于“发展”的担忧。

禁止人工智能用于社会信用体系和实时生物识别系统

这项长达108页的全球首部人工智能法规说了什么？

简单来说，该法规是一套基于比例制定的人工智能监管方法。欧盟委员会执行副主席玛格丽特 韦斯特格表示，“基于比例”其实是一种很简单的逻辑：风险越高，规则越严。

欧盟委员会根据人工智能的风险等级，将人工智能分为四类：最小风险、有限风险、高风险和不可接受的风险。

根据风险，法规规定，四种人工智能系统是被明确禁用的。该法规规定，禁止在不知不觉中对人类意识进行操控，从而影响其决定或扭曲其行为对其造成身心伤害；禁止人工智能系统利用特定人群的脆弱性（年龄、残疾等）扭曲该人群行为，造成身心伤害。

另外两条禁令则明确针对政府机构。第三条关于信用系统，禁止政府使用人工智能系统根据自然人的社会行为和特征，对其可信度进行评估或分类，导致其受到不合理的不利待遇。

第四条有关生物识别，规定除寻找失踪儿童、防止恐怖袭击、缉拿罪犯等特殊情况外，禁止为执法目的在公共空间采用“实时”远程生物识别系统，这意味着，禁止当局以执法为由对大众进行监控。值得注意的是，对使用实时生物识别系统的“豁免”情形，该法规也做了一些相对可量化的规定。例如，只有在缉拿刑期三年以上的罪犯时，才可以使用实时生物识别系统。

如果违反以上四条禁令，将被处以最高3000万欧元的行政罚款；如果违规者是公司，则最高处以上一财政年度全球年度总营业额6 %的罚款，以较高者为准。这是该法规中处罚数额最高的一档。

除违反四条禁令外，最大力度的处罚措施还适用于违反法规中关于“高风险人工智能系统的数据管理”的规定。该条要求开发商对数据的收集和处理合规，并要求“审查可能的偏见”“训练、验证和测试数据集应在预期目的要求的范围内”等。

重点监管“高风险”，涉及生物识别、教育、就业、政府机构

南都记者注意到，欧盟此次出台的人工智能法规，花了非常大的篇幅强调对于“高风险人工智能系统”的监管。不同于一般的人工智能系统，欧盟认为，一些人工智能系统可能对人类安全、健康或其他基本权利构成重大风险，这类系统应重点监管。

根据该法规，有两种具体的方式判定一个人工智能系统是否“高风险”。首先，当人工智能系统作为一个产品的安全组件时，那么它就是“高风险人工智能系统”。自动驾驶就是一个例子。

除涉及安全之外，法规附录中，还明确细化了其他需要重点监管的“高风险人工智能系统”范围，共八类。其中包括：自然人的远程生物识别系统（实时和非实时的生物识别均适用）；用于关键基础设施的管理和运营；用于教育和职业培训领域（例如通过人工智能系统对学生进行评估）；用于就业机会决策（例如使用人工智能系统来筛选候选人、评估员工绩效等）。

与“被禁止的人工智能系统”一样，在“高风险人工智能系统”列表中，法规也关注到了政府机构使用的人工智能系统。八类“高风险”中，有四类是针对政府当局，分别是将人工智能系统用于获得基本的私人和公共服务和福利以及执法领域（例如，评估自然人获得公共援助福利和服务的资格、评估自然人的信用、确定紧急急救服务调度的优先次序）；用于执法（例如评估一个人的潜在犯罪风险、检测情绪状态等）；用于移民和边境管理（例如评估入境风险，协助处理签证、居留申请等）；用于司法进程（例如用于协助解释法律，并将法律用于判定事实）。

南都记者发现，设置“高风险”的分级机制，虽没有直接禁止某些行为，但明显缩紧了人工智能技术在社会场景中的使用范围，警示了某些领域运用人工智能技术可能带来的风险。

对于“高风险”，政府将采取更严格的监管。该法规明确了对这类人工智能系统的监管步骤，包括开发前的评估、测试，全流程的风险管理，对于数据的管理，投入市场前的申请、合规、注册，出现问题如何纠错等，法规中都给了明确指引，并明确了系统开发者、引入者、使用者、监管方的义务。

值得注意的是，虽然欧盟对于高风险系统的质量管理和评估程序非常严格，但一些人工智能技术供应商被允许进行自我合规测评。这被一些欧洲组织认为是法规的“漏洞”。

透明度义务：知情同意、虚拟内容不可“以假乱真”

聊天、绘画、唱歌、写作、新闻播报……人工智能技术的发展，让技术变得越来越像人，真实与虚拟的边界被模糊，而欧盟正对此说“不”。

该法规规定，人工智能系统的提供商有保证“透明度”的义务。其具体含义是，首先，提供商必须明确告知人们，他正在与人工智能系统互动。这对虚拟聊天机器人之类的技术做了一些限制。法规还规定，使用情感识别系统和生物识别系统，应告知人们该系统进行的操作。这其实是在保证用户“知情同意”。这意味着，滥用人工智能技术私自收集用户信息的行为被明确制止。

另外很关键的一点是，“透明度义务”要求，人工智能系统生成的图像、音频或视频内容明显类似于现有的人、物体等，并且表现得很真实(如“Deepfake”)，应披露该内容是人为生成的。

事实上，此前，很多短视频软件推出“AI换脸”等功能，就曾备受争议。争议一方面来自该技术可能存在隐私泄露、图像被不法分子利用的风险，另一方面，该技术也遭遇了误导用户带来的伦理方面的质疑。

在国内，“假靳东”事件曾掀起舆论波澜，据媒体报道，短视频软件上，一些人利用图像和声音合成技术，“化身”演员靳东，让不少中老年女性沉迷其中而受骗。而在欧盟此次出台的人工智能法规框架下，短视频应用的类似功能将受到诸多限制。

以上是该法规对“透明度”的一般性要求。南都记者发现，在“高风险人工智能系统”的相关条款下，关于“透明度义务”有一些额外的、更严格的要求。

例如，高风险人工智能系统必须向用户解释算法的输出原理，这意味着不可解释的算法模型将是非法的。高风险人工智能系统应附有数字格式或其他方式的使用说明，应包括完整、正确和清晰的信息，且用户可获得和理解。并且，向用户的说明中必须包含一些信息，包括：该系统的准确性、鲁棒性和网络安全水平，以及可能导致对健康、安全或基本权利的风险等。

也就是说，在欧盟，使用“高风险人工智能系统”，用户的知情权不仅指对该系统目的的知情，还包括对该系统风险的知情。

两级监管，明确处罚措施，建立监管“沙箱”

对人工智能的监督如何实现？该法规明确了欧盟和成员国的两级监管。在欧盟，成立欧洲人工智能委员会，该委员会由各国的监督机构和欧洲数据保护监管机构构成，实施对人工智能行业的监管。各成员国应采取措施，保证法规在本国得到实施。

根据该法规，各成员国应制定适用于违反该法规的处罚规则，包括行政罚款。除上文中提到的违反禁令或违反数据治理规则的情形外，不符合法规下其他要求或义务的，将被处以最高2000万欧元的行政罚款，或者，如果违规者是一家公司，最高为其上一财年全球年度总营业额的4 %，以较高者为准。不过，法规也提到，在进行处罚时，应考虑到具体情况来确定处罚数额。

监管层面的一些技术创新性措施也在法规中有所体现。法规提到，欧盟将建立人工智能监管“沙箱”。据了解，沙箱是一个虚拟系统程序，在隔离环境中，用于测试不受信任的文件或应用程序。人工智能监管沙箱建立了一个可控环境，可根据与主管部门达成的测试计划，在有限的时间内测试、验证该技术。

法规还列举了更加细化的要求，以加强对一些重点领域的监管。例如，在一个系统涉及个人数据处理时，国家数据保护机构和其他国家机构必须关联到人工智能监管沙箱的操作中。

一些担忧：过于宽泛、生物识别不够严格、影响技术发展

近几年，从身份识别、聊天机器人，到自动驾驶，再到人工智能在商业、金融、司法、安防等领域参与决策，人工智能暴露出的问题也层出不穷。在西方，“算法歧视”“算法偏见”等观点被提出，人工智能技术的进步迎来欢呼的同时，也引发质疑当技术被赋予决策的权力，如何保证技术是可信赖的？

监管在试图解决人工智能带来的危机。2019年2月，欧盟委员会曾发布《人工智能白皮书》，就如何促进人工智能发展及解决相关风险进行了讨论。本次出台人工智能法规，则真正将人工智能治理上升到了立法层面。

欧盟委员会执行副主席玛格丽特 韦斯特格在公布该法规草案时说：“在人工智能的问题上，信任是必须的，而不是锦上添花的东西。” “凭借这些具有里程碑意义的规定，欧盟正在带头制定新的全球规范，以确保人工智能可以被信任。”

南都记者发现，几乎所有可能对人产生较大负面影响的人工智能参与决策的领域，不论是入学和就业筛癣个人信用评估、社会救济决策，都被欧盟看作是“高风险”的。法规提到，其强有力的有针对性的监管措施，意在使风险降到最低。而低风险，正是信任的前提。

据媒体报道，欧洲多家机构对该法规表示欢迎。但也有一些人对条款的细节表示了批评，担心该政策过于宽泛，给公司和技术开发商过多的自由裁量权。

而在备受关注的生物识别领域，以欧洲数字权利组织（EDRi）为代表的一些机构认为，该法规对生物识别的限制不够严格。尤其是“实时生物识别”禁令中提到的几项可以使用该系统的情况，会让欧洲人处于风险之中。

这是世界范围内首次正式的人工智能立法，但有相关人士指出，该法规实际操作起来可能并不容易。因为一些条款是模糊的，比如“不知不觉中操控意识，影响人的决定或扭曲人的行为”，那么网站的算法广告推送在不在此列？如果答案是肯定的话，那么Facebook、亚马逊等科技巨头将遭受重创。有学者指出，要在法庭上经过数年的法律挑战，才能弄清细节和定义。

另外一个无法回避的问题是“发展”。尽管法规中写道“不会过分约束和阻碍人工智能技术的发展”“不会对贸易进行不必要的限制”，但法规到底会在多大程度上影响产业发展？一些人提出了担忧。

欧洲数字行业协会表示，“将人工智能软件纳入欧盟的产品合规性框架可能会给许多提供商造成沉重负担”。

其董事西莉亚写道：“该法规之后，‘高风险’领域的新企业的创始人是否会决定在欧洲开展业务，是一个悬而未决的问题。”

文/南都人工智能伦理课题组研究员 李娅宁