摇尾巴的狗:社会偏见基准的数据集构建偏见

Nikil Selvam, Sunipa Dev, Daniel Khashabi, Tushar Khot 以及 Kai-Wei Chang
在给定的模型中,我们如何可靠地相信从社会偏见基准中获得的分数是有问题的社会偏见的忠实指标?在这项工作中,我们研究这个问题通过对比社会偏见和非社会偏见,这些偏见源于数据集构建过程中所做的选择(人眼甚至可能无法辨别)。要做到这一点,我们基于看似无害的修改(如转述或...

用户分享观点: