｜来源：智源社区

去年12月，谷歌 AI 伦理研究员Timit Gepu 因提交了一篇审视人工智能偏见的论文，后被谷歌 Jeff Dean认为不符合发表标准而解雇，从那以后，有关 AI 的伦理大讨论就甚嚣尘上。

近日，人脸识别因为判断错误，导致美国新泽西州警方抓错了人，让原本无辜的“高度匹配者”意外锒铛入狱。

再有特斯拉自动驾驶系统，车主沙漠宕机，千里串车，让人不寒而栗。

早在2000年，Wired杂志上当时颇具争议的一篇文章，题为“为什么未来弃我们而去？”（Why the Future Doesn't Need Us）。文章从反乌托邦的视角表达了对未来现实的深深担忧。“我们21世纪最强大的技术机器人技术、基因工程和纳米技术正在让人类成为濒危物种。”

如今20年已经过去，经历了漫长的野蛮生长期，2020无疑成为了历史长河中 AI 应用爆发和矛盾最为突出的一年。业界也普遍称之为 AI 治理的元年。

而问题的根源在于急于推动人工智能应用过程中的急功近利，并在相应的应用场景中放大了原本的偏见。

中科院自动化研究员曾毅表示，“一方面，我们对于技术现阶段的瓶颈和潜在问题在认识不充分的情况下急于推动人工智能的应用，从而使其潜在的负面负效应加速暴露。1960年控制论的奠基人诺伯特维纳就在Science杂志上撰文，提醒我们的技术创新者“我们最好能够非常确定，我们给予机器的目标是我们真正想要让他们做的事情”。如今看来，人工智能的技术创新者有些对于潜在风险不自知，有些甚至选择视而不见。我们并没有真正理解和重视60年前的科学洞见。”

“另一方面，人类社会的潜在偏见与风险在一些场景下被人工智能应用延伸和放大。有些观点认为技术是中立的，问题在于人与社会。然而我们无法回避这些偏见和风险被放大后直接作用于社会并产生更强烈的负面效应。”

这又回归到了技术性本善还是性本恶的问题。

德国哲学家雅斯贝尔斯曾在《原子弹与人类的未来》写道:“技术本身既非善，亦非恶，但它既可以用于善，也可以用于恶。它本身不包含任何观念：既不包含完美的观念，也不包含毁灭的邪恶观念；它们都有别的源头在人类自身之中。”

人类自身与技术的博弈，始终在因噎废食，还是放任自流当中取得一种平衡。

“技术的发展有不同的阶段，当我们对于技术的潜在隐患不具备控制能力的时候，应当将更多的精力投入到改进技术并降低风险与安全隐患上。我支持针对具有高度风险和不确定性的技术与应用领域给予严格的控制甚至是禁用。”

而另一方面，采取其他技术进行替代，看似是做出了改变，但其实相似的风险也依然存在

以人脸识别为例，相关研究表明，人脸识别的相关风险广泛存在于任何类型的生物特征识别技术中，例如步态识别、指纹识别、虹膜识别、声纹识别等。

疫情期间，公共卫生事件的爆发更是屡屡触碰到了 AI 伦理安全的边界，提高了公众对人脸识别技术的接受度。

曾毅表示，从不认为在拯救生命等严肃问题面前， AI伦理红线应有任何的放宽。

去年5月，北京智源人工智能研究院人工智能伦理与安全研究中心联合中国科学院自动化研究所中英人工智能伦理与治理研究中心共同发布的“人脸识别与公共卫生调研报告” 显示，公众从未允许无条件让渡隐私，有超过半数的人关注人脸识别中的隐私问题，希望能够了解和控制对自己面部数据的使用。

而归根结底，想要构建低风险、高安全、符合道德伦理的人工智能技术模型，还需要从源头，即模型设计的哲学上发力。

对此，曾毅表示，“负责任的人工智能模型应当是在设计阶段就为模型构建伦理框架的计算实现并贯穿人工智能模型、产品与服务的整个生命周期。从长远看来，倘若希望真正符合伦理道德的人工智能模型，需要使人工智能模型以‘可理解’为核心通过‘自主学习’的方式在与人类及社会交往过程中“习得”。”

真正实现人工智能模型“理解”人类社会，建立人与模型之间的充分信任还有很长的路要走。

附：智源研究院对自动化所研究员曾毅博士采访全文

1、有人将2020年称为AI治理的元年。在过去的一年中，国内外引发了众多争议，比如AI模型的种族性别歧视、脑机交互的安全问题、疫情期间的AI追踪、自动驾驶事故频发，如何看待这些争议背后的共性？

作为人工智能的创新者、应用者，也许我们将精力过多地集中在了技术可以如何利用来改变我们的工作、生活，而忽略了人工智能的发展和应用对于社会和人类的潜在负效应。问题中提及的这些领域发生问题的共性可以归纳为两点：

一方面，我们对于技术现阶段的瓶颈和潜在问题在认识不充分的情况下急于推动人工智能的应用，从而使其潜在的负面负效应加速暴露。1960年控制论的奠基人诺伯特维纳就在Science杂志上撰文，提醒我们的技术创新者“我们最好能够非常确定，我们给予机器的目标是我们真正想要让他们做的事情”。如今看来，人工智能的技术创新者有些对于潜在风险不自知，有些甚至选择视而不见。我们并没有真正理解和重视60年前的科学洞见。

另一方面，人类社会的潜在偏见与风险在一些场景下被人工智能应用延伸和放大。有些观点认为技术是中立的，问题在于人与社会。然而我们无法回避这些偏见和风险被放大后直接作用于社会并产生更强烈的负面效应。这是技术给予我们的警醒，使我们还不算太晚地意识到潜在的问题。而更关键的是我们是否能够负责任地做出改变，为人类与技术创建和谐发展的未来。

2、从长期来看，是否应该直接禁用某项技术。如何面对一直以来存在的技术原罪论这样的声音？

技术的发展有不同的阶段，当我们对于技术的潜在隐患不具备控制能力的时候，应当将更多的精力投入到改进技术并降低风险与安全隐患上。我支持针对具有高度风险和不确定性的技术与应用领域给予严格的控制甚至是禁用。然而我也观察到这样一种现象，就是当舆论的焦点短时间内聚焦到某项技术和某个应用领域的时候，迫于社会舆论的压力等，相关的技术应用与发展进入了潜伏期，特别是相关服务提供商在公开场合明确表态支持禁用、防止误用、滥用。然而实际上采用了类似的技术进行替代，而相关的替代技术其实存在类似的潜在风险，却并不为公众知晓。这样是极不负责任的。

例如人脸识别技术在很多场景下并不一定必要，且有侵犯隐私、产生偏见、相关数据及推理结果被恶用等风险。特别是今年得到了社会的普遍关注，并有些国家、地区、应用场景提出禁止使用的规定与倡议。然而相关研究表明，其实人脸识别的相关风险广泛存在于任何类型的生物特征识别技术中，例如步态识别、指纹识别、虹膜识别、声纹识别等。因此以偏概全的一概禁用不是解决长远风险安全问题的有效手段。而应当集中精力解决技术的潜在风险，经过负责任的、严格的设计、实现与部署，促进技术的善用，时刻谨慎潜在风险并采取必要的行动才是正确的发展观。

3、2020年年初新冠疫情爆发，直到今日依然在全球蔓延。新冠疫情的持续对于AI治理有什么具体的影响，带来的挑战是什么？今年6月，您参与了世卫组织新冠密接者追踪技术应用伦理指南制定，能否分享一下这当中的一些思考？在拯救生命等更严肃的人类问题面前，所谓的AI伦理红线是否应该适度放宽？

新冠疫情的管控为人工智能与信息技术的应用带来了新机遇，也发挥了积极的作用。然而毋庸置疑，规模空前的生命体征、生物特征、移动轨迹等个人数据的持续性收集与分析给AI治理带来了新议题与新挑战。对于人工智能在新冠期间的发展而言，创新与责任并行。

卫生与健康是人工智能重要的应用领域，世界卫生组织(WHO)并不仅仅是因为新冠疫情才关注人工智能技术应用于卫生与健康领域的伦理问题。去年10月世界卫生组织就针对健康领域的人工智能伦理与治理成立了专家组并在日内瓦总部召开了第一次会议。虽然那个时候还没有新冠全球大流行，但是我们的专家组还是较早的达成了一个共识，即面向公共卫生和健康领域的人工智能应用涉及的相关群体远远超过医生和患者的范畴。我想这个共识特别是在采用以人工智能为代表的信息技术辅助新冠防控的过程中尤显重要。

在我参与编写的世界卫生组织《指导数字近距离追踪技术用于 2019 冠状病毒病（COVID-19）接触者追踪的伦理考虑》文件中，提出的17条原则目的是为了推进类似于健康码技术的合理使用和最大化其积极作用，并同时避免潜在的技术和伦理隐患 。其中第一条非常值得解读，即“时间限制”原则。

在人工智能与信息技术产品与服务研发的历史上，很少有相关应用在诞生之初就去预设该服务终止的时限的，正因为这项服务存在风险，才使得数字近距离追踪技术需要这样负责任的设计。但仅有这样的设计是不够的，在研发、部署和使用过程中仍然需要注意相关数据的保护、安全性、问责机制、留存设限，并接受公众的监督。

其中留存设限指出“数据留存期限应限于大流行病应对期间”等我认为具有深刻长远的指导意义，这与我国今年3月民政部、中央网信办、工业和信息化部、国家卫生健康委颁布的《新冠肺炎疫情社区防控工作信息化建设和应用指引》中关于隐私保护的原则“社区防控信息化产品（服务）因疫情防控工作要求，需要收集社区居民信息的，应向社区居民明确提示并取得同意，明确用于此次疫情防控，对于用于其他目的的，必须重新征得社区居民本人同意”的相关规定异曲同工。虽然国家层面也颁布了相关规定，我们可以看到部分地方在政策落实和实际操作层面还是有超越这项规定的设计与尝试，并引起了社会明确的负面反溃另外在各国数字近距离追踪技术的实践中我们发现，仅仅是做到在伦理上符合要求并非已经解决了问题。

《华尔街日报》的一项报道指出，一些西方国家类似健康码的技术与系统，相较于亚洲国家的努力，显得作用并不明显。由此可见合乎伦理的设计与系统的有效性需要兼顾。我从不认为在拯救生命等严肃的问题面前， AI伦理红线应有任何的放宽。据我们5月份发布的调研报告《人脸识别与公共健康》显示，公众从未允许无条件让渡隐私，允许相关部门收集更多的个人信息，首先建立在必要性基础上，其次的前提条件是公众的个人信息能够得以足够的保护。反而是我们的健康码服务提供方要时刻警惕，有责任严格保护好公众的个人数据。我们人工智能创新者必须时刻警示自身，在特定场景下获取更多的公众数据虽然可能是创新的机遇，更意味着承担更多的责任。

4. 在去年6月国家新一代人工智能治理专业委员会发布的《新一代人工智能治理原则发展负责任的人工智能》，共有八项。这些治理原则对于我国的AI治理有什么具体的影响？

《新一代人工智能治理原则发展负责任的人工智能》的发布既是我国新一代人工智能发展与治理的总体愿景，又是我国与世界人工智能接轨，扩大共识，协同发展的重要文件，发布之后也引起了全球人工智能科技界和媒体的广泛关注。以前我们在进行国际交流的时候经常被问及中国新一代人工智能的伦理治理将去向何方，或者中国新一代人工智能的顶层设计是否关注伦理与治理问题。而这项文件发布后，国内外人工智能产学研界都更明确和有信心。

作为国家新一代人工智能的牵头部委，科技部已经通过新一代人工智能创新发展试验区、新一代人工智能开放创新平台的建设与评估、以及科技创新2030新一代人工智能重大项目等多种渠道落实《新一代人工智能治理原则》。我相信这为制定更详细的伦理规范、领域细则、以及人工智能相关的法律法规，都将作为重要的基础和提供必要的参考。

以北京作为新一代人工智能创新发展试验区的首个城市为例，在《新一代人工智能治理原则》发布后，就由智源人工智能研究院牵头，结合北京人工智能产学研界共同倡导的《人工智能北京共识》发起了多项产学研合作，涉及数据隐私保护、更安全的机器学习、伦理道德自主学习的人工智能模型、人工智能治理公共服务等方向和项目。特别值得提到的就是今年9月份在《新一代人工智能治理原则》的指导下由北京市产学研界共同发布的《面向儿童的人工智能北京共识》，以负责任的人工智能发展护航下一代的健康成长。

5. 目前国际社会上，据了解存在190多个人工智能伦理原则/规则，但一方面这些规则并非完全相同，另一方面不同规则制定主体之间并非协作或上下级指导关系，因此存在所谓regime complex。针对这一现象，当前是否有解决方案？还需要哪些努力？

每一个人工智能伦理原则由不同的组织和国家、跨政府机构等提出，站在各自的角度都有必要的动机，而由于这些国家和机构不同的管辖范围，也决定了这些原则的适用范围。这样的机制复合体的存在我认为有其必要性，因为不同的视角，不同的出发点对人工智能的发展加以规制和关切能够使未来人工智能的发展从多元治理中受益。问题所在是这些机制复合体中的机构以及不同的国家是否能够以和谐和包容的方式共同促进人工智能的发展。

国际上不同的人工智能伦理原则中实际上存在的共识是明确的，对于细则的解释虽然有不同的视角，但实际上形成了非常互补的认识。我认为联合国教科文组织正在推进并即将在明年由所有成员国签署的《人工智能伦理全球建议》是达成全球共识的重要渠道。然而更关键的是在共识的基础上进行社会和技术落地。为促进人工智能伦理与治理的国际合作，由剑桥大学、北京智源人工智能研究院、中国科学院自动化研究所中英人工智能伦理与治理研究中心、北京大学等相关学者合作撰文《克服人工智能伦理与治理的跨文化合作阻碍》中就倡导推动跨文化背景下的人工智能伦理与治理的全球协作与创新。并指出：尽管对某些概念性的价值观或原则可能存在分歧，各方也依旧可能在实际问题的处理方式上达成一致。无论是国际组织、国家还是不同机构之间的合作，都需要尊重多元文化，倡导包容发展，管控分歧、减小分歧、并逐步扩大共识。

6. AI治理除了在法制法规方面，在技术上具体的侧重点是算法的优化吗？如何构建理想中的低风险、高安全、符合道德伦理的人工智能技术模型？

以算法优化的视角看待实现具有伦理道德的人工智能会让人觉得之前的模型只是做的不够好。在我看来是模型设计的哲学具有明显的不同。负责任的人工智能模型应当是在设计阶段就为模型构建伦理框架的计算实现并贯穿人工智能模型、产品与服务的整个生命周期。在模型实现的层面，应当尽可能的避免已知的模型安全与伦理隐患，如涉及到个人数据的算法与系统应当采取必要的措施保护数据隐私与安全；算法应尽可能抵御已知对抗攻防模型的攻击；数据分析算法应尽可能避免由于获取的偏差引入的社会偏见并采取适当的策略消除数据中隐含的偏见对分析与决策的影响。人工智能的技术模型应符合人类伦理道德规范，但我不认为以规则的形式写成的规范能够真正被人工智能模型与算法“理解”，且以规则形式赋予人工智能模型的伦理道德原则相对更容易被篡改。

从长远看来，倘若希望真正符合伦理道德的人工智能模型，需要使人工智能模型以“可理解”为核心通过“自主学习”的方式在与人类及社会交往过程中“习得”。全方位的理解人类社会的伦理道德需要未来的人工智能模型具备思维揣测、认知共情等高等认知功能，这需要人工智能模型基础的颠覆性创新。虽然及其困难，需要进行持续性、前瞻性的技术探索，但也只有这样的努力才能最大程度地确保人与人工智能的和谐共生。

7. 在新的一年中，AI 治理将有哪些新形态？

除了我们一直关注的人工智能伦理、安全风险与治理，我认为新的一年对于人工智能伦理与治理有两个大方向值得全球协作推进。一方面是在很多人工智能伦理与治理原则(包括我国的《新一代人工智能治理原则》)中明确提到的，通过人工智能的发展推动经济、社会及生态的可持续发展。另一方面就是将人工智能治理以监管为主推进为以公共服务为主，监管为辅。

推进全球可持续发展目标的实现是全人类下一个十年最重要的目标，这是全球关于发展形成的最重要的愿景与共识。为了响应这个共识，促进人工智能的善用，北京智源人工智能研究院联合多个国际机构共同发起和建立了面向可持续发展的人工智能协作网络(AI for Sustainable Development Goals Cooperation Network)。

我们非常感谢至今为止来自全球15个国家的专家学者对这个网络的支持和直接参与。剑桥大学生存风险研究中心、蒙特利尔人工智能伦理研究所、新加坡管理大学人工智能与数据治理研究中心等来自全球的学术机构，以及百度、旷视、滴滴、小米、依图、医渡云等人工智能企业作为成员单位给予大力支持。2021年，我们的工作重点是围绕可持续发展的各个议题(如人工智能与儿童、人工智能与生物多样性、人工智能与文化交互)组成的相关工作组，推进每个议题通过人工智能的善用善治实质性推进可持续发展。也欢迎各个国家的学者、产业、机构参与到这项全球协作中来。

今年的中关村论坛重大成果发布会上，北京智源人工智能研究院在科技部等单位的支持下，与合作单位中科院自动化所中英人工智能伦理与治理研究中心共同发布了人工智能治理公共服务平台(AI Governance Online)。这一平台能够为相关政府机构、企业及部门的人工智能研发、产品和服务提供人工智能伦理与治理评估。这是我们将“人工智能治理以监管为主推进为以公共服务为主，监管为辅”的理念的初步尝试，得到了产业、学术界和政府机构的支持。在新的一年，我们期待与人工智能产业界、学术界、政府相关机构共同推进这个理念的落地，实现自律自治与监管的协同，让人工智能研发、使用、部署实现更自主的善治，从而协同推进新一代人工智能的稳健发展。

采访对象简介

曾毅，中国科学院自动化所研究员，中英人工智能伦理与治理研究中心联合主任，类脑智能研究中心副主任；中国科学院大学岗位教授；北京智源人工智能研究院人工智能伦理与可持续发展中心主任；清华大学战略与安全研究中心客座研究员；国家新一代人工智能治理专委会委员；联合国教科文组织人工智能伦理特设专家组专家；世界卫生组织健康领域人工智能伦理与治理专家组专家。

【数据资产治理与安全保护解决方案】，是华云数创（北京）科技有限公司针对内部数据泄漏、防范、加密和安全治理等提供了优秀的解决方案和产品，致力于保护数据安全，有效应对数据安全合规带来的风险与挑战。以数据智能分类为基础，对相关涉密数据进行全面的防护，保证数据全生命周期安全，重点解决企事业单位在深化信息化管理应用后面临的数据安全以及部门间、企业间数据共享的安全需求，保证用户数据无论何时何地均受到严密的安全防护及严谨的监控管理，杜绝数据被有意窃取或无意泄密的问题。

目前，该方案被广泛应用于金融、军工、科研机构、生产制造型企业等。