“有人的地方，就有偏见，数据亦然。”

在《Futurama》这部漫画里，机器人法官风趣而勇敢，但是现实中，COMPAS算法却很难让人笑得出来。

译注：

COMPAS全称是Correctional Offender Management Profiling for Alternative Sanctions，以“替代性制裁为目标的惩教犯管理画像”。简单理解，就是对嫌疑人进行人工智能画像，以量刑或者判断是否假释。类似于2002年上映的电影《少数派报告》，将犯罪的萌芽消灭于襁褓之中。但此处提出COMPAS是因为这一算法因数据集或者其他问题，会产生对有色人种或特殊族裔的偏见。

和我们看过的大多数科幻电影不同，人工智能给现代生活带来的革命是润物无声的；拥有自主意识的机器人统治人类的场景还没有出现，但人工智已经渗透到我们的生活之中，稳步地侵入了以前人类独有的决策领域。正因如此，你甚至可能没有注意到你的生活中已经有太多方面受到算法的影响。

清晨醒来，你伸手拿起手机，翻翻微博或者抖音，此时，一个由算法创建的内容提要正在为你服务。然后你检查了你的电子邮件，收件箱中只有重要的信息，因为所有可以忽略的内容都已经自动丢弃到垃圾邮件或促销文件夹中。你戴上耳机，收听网易云音乐上的一个新的播放列表，这是算法根据你以前所感兴趣的音乐为你挑选的。继续着上午的例行工作，你进入汽车，并使用百度地图，看看今天路上堵不堵。

在半个小时的时间里，你所消费的内容、收听的音乐以及你上班的路程都依赖于算法的预测建模，而不是你自己的大脑。

机器学习来了，人工智能来了，我们正处在信息革命的进程之中，在感叹生逢其时的同时，必须警惕随之而来的影响。让机器告诉你通勤的时间、你应该听的音乐以及你可能感兴趣的内容，这些都是相对无害的例子。但是当你浏览你的微博新闻时，某个地方的一个算法正在决定某人的医疗诊断、假释资格或者职业前景。

从表面上看，机器学习算法看起来是一种很有前景的解决方案，可以消弭人类的偏见，这一人性的弱点可能对数百万人的生活产生负面影响。人们的初衷是，人工智能中的算法能够在公平和高效等方面超越人类既有的水平。世界各地的公司、政府、组织和个人都在使用机器决策，支持这样做的理由有很多：更可靠、更容易、更便宜、更节省时间等。然而，仍有一些问题需要注意。

偏见的一般定义

图片来源：Getty Images

偏见可以被定义为在被认为不公平的情况下比其他人更受青睐的某些事物、人或群体。它通常是对某些理性决定或规范的偏离，可以从统计学、法律、道德的或实用主义的角度来理解。我们在日常生活中以及在人类社会尺度上都可以看到偏见的影子。通常情况下，偏见之间会相互强化。

例如，在回家的路上，你可能会选择走一条不那么“阴暗”的街区，为何会这样？也许是因为这个地区是那些社会经济地位较低的人的家园。虽然不是说这类人群一定更有可能参与犯罪活动，但你的偏见，无论是显性的还是隐性的，都促使你选择一条不同的路线。从更宏观的视角看，警方也可能由于偏见从而加强对这些地区的巡逻，而这反过来又可能导致比富裕的社区更高的逮捕率，从而产生一种高犯罪率的假象，而无关那里实际发生的犯罪率有多大。这种恶性循环似乎只会加剧我们最初的偏见。

算法与机器学习

让我们首先区分经典算法和机器学习算法。经典算法通常被描述为输入输出处理器。传统的编程依赖于植根于逻辑的函数：如果x，那么y。经典算法是基于规则的，显式的，生硬的。机器学习比这更复杂。机器学习算法不是通过预先设定的数据必须满足的条件来做出决策，而是通过对决策领域中数百或数千个数据集的审计和统计分析来做出决定的。

例如，当招聘学习算法寻找理想的求职者时，培训数据集可能会提供在企业中表现最好的候选人的200份简历，然后，算法在这些数据中寻找模式和相关性，这样在评估一份新的简历的持有者能否成为理想的候选人的时候，算法的预测能力能够更强。将决策交给机器学习算法对人类有许多好处，包括节省时间、金钱和精力。然而，当涉及到道德和责任的决定，界限就会变得模糊。因为我们无法确切地理解为什么一台机器会做出这样的决定（基于人工智能算法中的黑盒特性），所以当偏见发生时，我们并不总是能够发现和回避。

机器学习的偏见

Mathwashing （盲目相信算法）

Mathwashing 是一个被创造出来的术语，用来代表社会对数学和算法的痴迷，以及一种心理倾向，即如果有数学或相关语义的参与（即使这些数值很武断），就更容易相信某事物的真相。人类有一种倾向，认为数学的参与会自动使事物客观化，因为数学对象似乎独立于人类的思想。而数学这一存在本身就是基于人类的思想，数学这一体系及相关属性，作为人类思维的产物而存在，这使得数学与其他衡量方法一样容易受到人的主观性的影响。

训练数据“分类中的公平性”

机器学习算法是基于程序员选择的数据集来训练的。有了这些训练数据，他们就能识别和利用统计数据中的模式、关联和相关性。例如，通过数千张不同猫和狗的图片，可以训练出区分猫和狗的算法。这种分类任务相对简单；将算法应用于基于人类的法庭判决比这错综复杂得多。例如，就刑事司法系统中的人工智能而言，协助法官作出是否给予罪犯假释的决定，工程师可以将过去人类针对数千例案件所作出的判决输入系统，但人工智能仅能就此了解到判决的结论。机器没有能力感知到人类在做出这些判决时，是受何其多的变量的影响，而理性并不总是占据决策的主导地位。计算机科学家称之为“选择性标签”。人类的偏见是在多年的社会融合、文化积累、媒体影响中学到的。算法中学习偏见的渗透过程与此类似：就像人类在诞生之初并无偏见，算法本身也是不存在偏见的，但是，如果给定了一个有缺陷的数据集，偏见将不可避免。

社会反思

人类教会了算法根据输入信息和从信息中提取的模式来进行预测。鉴于人类存在着各种各样的偏见，一个表征环境的数据集也同样会表征这些偏见。从这个意义上说，算法就像镜子：其学习模式反映了我们社会中存在的偏见，无论是显性的还是隐性的。

微软在2016年设计的人工智能聊天机器人，Tay

以Tay为例，它是微软研发的聊天机器人。Tay的设计初衷是为了模拟一个十几岁的女孩与Twitter用户的互动内容，然而，在不到24小时的时间里，网友就见证（其实是推动，译者注）了Tay的转变，从表达“人类是超酷的”这样的天真无邪的小女生到叫嚣“希特勒是对的，我恨犹太人”这样的狂热分子，仅仅是凭借互联网上的推特互动。微软删除了这些推文，并解释说Tay在最初的测试阶段采用的数据集主要是经过过滤的、非攻击性的推文，因而并没有出现任何问题。显然，当Tay上线时，过滤过程不复存在。从好的方面讲，这似乎表明了一种消除偏见的可能方法，即随着算法的使用和与现实世界的接触，应该对输入的数据进行监测和过滤。

词嵌入

摘自“矢量空间中词语表示的有效估计”，2013年

词嵌入是机器学习中使用的一种技术，在机器学习中，单词被翻译成一个向量－这些向量构成了用于算法的词汇字典。词嵌入在翻译服务、搜索和文本自动完成提示等许多常用应用中得到了广泛的应用。根据向量的角度，机器将能够理解单词的意义，进而理解词汇的普遍联系和对应关系。例如，“国王和王后”与“王子和公主”有关。对词嵌入能力的理解层级可以相当复杂，这使得它成为分析SAT测试、求职申请、求职信等的一个很好的工具。

摘自Bolukbasi等人的论文，2016年

然而，词嵌入的一个问题是，它有可能扩展现有的性别联系。波士顿大学的Bolukbasi等学者对谷歌翻译服务中使用的词嵌入技术进行了研究。在训练中很少涉及人类工程师的介入，代之以自然语言内容的文章、新闻、书籍等词库为基础进行训练。Bolukbasi考察了土耳其语与英语翻译的关系，因为土耳其语使用性别中性代词而不是明确的“（男）他”或“（女）她”。在将土耳其语翻译到英语的过程中，谷歌将被迫选择一个性别代词。这项研究发现了谷歌的性别歧视偏见，因为它将“o bir doktor”翻译为“他是一名医生”，而将“o bir hemsire”翻译为“她是一名护士”。

“知情”算法与“不知情”算法

从表面上看，消除偏见、解决公平问题的最简单方法是，隐藏造成偏见的信息：例如，在审查简历的算法中，排除简历中的姓名和性别，理论上听起来可能会防止性别偏见的发生。毕竟如果没有关于性别的信息，那么机器就不可能对男人和女人有不同的对待，对吧？

但现实比这更加复杂。上述方法被称为“不知情”的算法构建方法。如果要删除性别这一属性，前提是在工作能力方面，性别将是一个可以忽略不计的因素。然而，由于算法是经由训练来识别统计数据中的模式的，所以无论我们怎么做，数据集中都会不可避免的体现社会中的相关性、刻板印象和不平等，这些因素既然存在于现实中，也就存在于我们训练算法的数据集中。即使没有明确说明，机器学习也将能够获得与性别相联系的可见特征。例如，用于雇佣的分类算法可能会将权重放在兵役年限上，并将其与能力或忠诚联系起来，而在以色列，男性通常服务3年，而女性则服务2年。这就使得服役年限成了一个与性别密切相关的属性，删除了这一基本信息，就删除了做出客观决策所必需的上下文。正因为如此，一个“不知情”算法有时会比“知情算法”有更大的偏差。

另一方面，“知情算法”使用性别信息，可以将妇女服役时间较短的趋势纳入考虑的范畴。弥合准确性与公平性之间的鸿沟往往需要权衡：毕竟鱼和熊掌不可兼得。“不知情算法”是一个更公平的过程：在训练阶段不考虑敏感属性。然而，这可能导致有偏见的结果。“知情算法”使用了一个更不公平的过程：将敏感的分类和信息纳入考量，但最终可能产生更客观的结果。

反馈循环／自我延续

机器学习很容易陷入反馈循环，这最终会导致偏见的延续。例如，当机器预测用于刑事风险评估时，黑人比白人更有可能被评为高风险。这纯粹是由于黑人和白人之间在犯罪记录上的悬殊差异造成的，不幸的是，这反映了人类在种族方面的偏见。而且，随着机器不断的给黑人贴上高风险标签，数据集的数据逐渐的累加，从而使对黑人被告的偏见雪上加霜。在这种情况下，系统不仅反映了从人类偏见中学到的模式，而且还加强了自己的学习过程。

替代目标

除了训练数据中存在的问题外，偏见还可以通过多种方式进入算法的过程。我们的下一项研究是关于传播算法度量的构造有效性：你的度量方法是否达成了既定的目标？当它不能准确度量时，会产生什么后果呢？

社交媒体算法不再基于时间序显示帖子，而是通过机器学习算法过滤所有你曾经参与过的事情。目标是根据你以前的兴趣来衡量你的参与度，然后它会向你展示它认为你可能会参与的更多的内容。对一段内容的参与率越高，算法就越有可能将该内容推荐到新闻提要上：理想情况下，这是有意义的。因为，理论上，受欢迎的帖子应该是更好的内容，否则，为什么会有这么多人喜欢？

不幸的是，人类并不拥有足够的智慧，让这个算法可以恰如其分地工作。一直以来，表现最好的内容往往是由虚假新闻、名人八卦、政治诽谤和许多其他对改善世界毫无意义的东西组成的。但是对此算法是无法理解的，所以恶性循环仍在继续。

译注：

替代目标所讲，就是对于无法直接达成的目标采用的替代做法。如我们无法准确的获知人们对于内容的喜好所表达的方式是什么，因此只能生硬的选择点赞、评论、转发等指标作为替代目标来进行评估。而人们喜欢或者不喜欢一个内容，或者一个内容是否足够优秀，其真正的成因往往是十分复杂的。

人们在招聘过程中的许多决定也被移交给AI，用以进行简历筛选、工作能力分析和比较等。招聘工作是一个非常强调时限的过程，招聘过程的每个参与方都要付出高昂的代价：一旦出错的话代价甚至更高。据全美高校和雇主协会估计，在一家500人规模的中型公司中，雇佣一名雇员的费用约为7，600美元。通过让算法来完成这一繁重的任务，企业可以将其大部分资源和资金投入到其他地方，最终也更可能找到合适的人才。

然而，“替代目标”成为这个过程中的一个问题，因为对许多理想的工作特征的评估很难直接操作。如今，业界的一些热门词汇包括“创造力”、“沟通”和“生产力”，所有这些都是难以衡量的。衡量创造力的最常见的方法是替代用途测试，在这种测试中，人们会为常见的项目提供非常规的用途（比如，列举出回形针的25种用法，用以检测应聘者“不走寻常路”的能力，译者注）。基于这一衡量标准，员工可能会被分配一个“创造力能力倾向”分数，这个分数会加入训练数据集，用以筛选具备相同特质的员工。问题是，替代测试只是测试创造力的一个方面，即发散思维。它忽略了创造力的所有其他方面，而有些方面可能对公司文化非常有价值。其结果是，公司招聘了一大批具备“创造力”的员工，然而他们却都是以同样的方式来进行“创造”的：这很讽刺，也很无聊。

我们已经将机器学习算法用于做出重要决策的可能性尽量理想化了，但事实是，机器无法理解客观性、真实性、中立性或平等性。而当人类生命受到威胁时，所有这些特征都是重要的考虑因素。我们将何去何从？

结语

尽管我们已经阐明了人工智能模型可能带来的许多问题，但仍旧有很多理由可以支撑我们从以人为中心的决策方式转变为基于人工智能的决策方式。正如前面提到的，尽管人工智能存在种种缺陷，但它仍然比人类更客观。正因为如此，我们看到人工智能在基于决策和预测的任务中的应用仍旧在持续深入。但是，较少的偏见并不等同于没有偏见，当算法做出有偏见的决定时会发生什么？我们如何决定谁应该为此承担责任？毕竟我们没办法去惩罚一个有偏见的预测算法（能怎么办呢，删除它？）

可以说，跟踪问责制的最佳方法是对人工智能决策过程进行准确和详细的记录。也就是说，做出决定的过程和数据必须是透明的，这样如果有任何问题发生，第三方审计师就能够追溯导致结果的步骤，以找到问题的根源。人们已经为此制定了法案和法律，以保持相关实践的透明度。

当然，审计方法本身并不是没有问题的。对于具有大数据集的人工智能来说，审计并不总是可行的，审计也不总是适用于深度学习系统，后者不只面临大数据集的问题，还面临复杂的计算网络的挑战。算法的自主性和透明性似乎互相矛盾，随着算法在‘学习’和调整方面变得越来越好，人们就更难理解偏见发生在哪里了。虽然审计对于更简单的模型是有效的，但我们可能需要一种不同的方法来减轻复杂算法的偏见。

另一种减轻偏见的方法是针对AI的训练者和创建者。通过让他们意识到自己的偏见，我们有更好的机会将这些偏见排除在算法之外（比如，在设计谷歌翻译时考虑中性性别代词）。值得注意的是，人类的偏见是客观存在的，而且很难减轻，因为它是一种进化特征，但我们至少可以不断意识到我们自己的大脑容易受到偏见的影响。总之，如果我们不断学习、自查、保持明智并做出正确的选择，算法将可以为缓解由来已久的偏见作出贡献。

“继续努力使文化变得更好，并不断更新人工智能，以跟踪文化的发展。这才是上策。”

——乔安娜·布莱森

相关参考资料

1．Abate， Tom．， Krakovsky， Marina． “Which is more fair： a human or a machine？” Stanford Engineering， January 31， 2018．

2．Bornstein， Aaron M． “Are Algorithms Building an Infrastructure of Racism？” Nautilus， December 21， 2017．

3．Bright， Peter． “Microsoft Terminates Its Tay AI Chatbot After She Turns Into a Nazi．” Ars Technica， March 24， 2016．

4．Courtland， Rachel． “Bias Detectives： the researchers striving to make algorithms fair．” Springer Nature， Macmillan Publishers， June 21， 2018．

5．Miller， Alex P． “Want Less－Biased Decisions？ Use Algorithms．” Harvard Business Review， July 26， 2018．

6．Schep， Tijmen． “What is Mathwashing？” Mathwashing， 2018．

7．Shapiro， Stewart． “The Objectivity of Mathematics．” Synthese， vol． 156， no． 2， 2007， pp． 337–381．

8．Bolukbasi， T．， Chang， K．， Zou， J．， Saligrama， V．， Kalai， A． “Man is to Computer Programmer as Woman is to Homemaker？ Debiasing Word Embeddings．” Microsoft Research New England， 2016．

9．Yona， Gal． “A Gentle Introduction to the Discussion on Algorithmic Fairness．” Towards Data Science， Medium． October 5， 2017．