MIT发现AI数据集中存在大量标签错误，并建立查看网站
12-06 09:03
TAG：
品玩3月29日讯，据Engadget消息，一个由麻省理工学院计算机科学家领导的小组，研究了十个被引用最多的用于测试机器学习系统的数据集。他们发现，大约3.4%的数据是不准确或错误标记的，这可能会导致使用这些数据集的人工智能系统出现问题。
这些数据集被引用次数均超过10万次，其中包括来自新闻组、亚马逊和IMDb的基于文本的数据集。错误源于亚马逊产品评论被错误地标记为正面，而实际上是负面的，反之亦然。
为了找出可能的错误，研究人员使用了一个称为自信学习（confident learning）的框架，该框架检查数据集的标签噪声（或无关数据）。他们使用Mechanical Turk验证了可能的错误，发现算法标记的数据中有54%的标签不正确。研究人员发现，QuickDraw测试集的错误率最高，约为500万（约占数据集的10%）。
团队创建了一个网站，任何人都可以浏览该网站查看标签错误。