研究:AI在识别低收入国家家庭用品上表现糟糕-冯金伟博客园

  据外媒报道,包括谷歌、微软和亚马逊在内的数家科技巨头公司都在销售它们的物体识别算法,然而当这些算法在面对来自低收入国家的物品时其所作出的表现却不尽如人意。 这是 Facebook AI 实验室进行的一项新研究得出的结论。该研究表明,AI 偏见不仅会显示一个国家内部的不平等,也会显示重现国家之间的不平等。

  在这项研究中,研究人员对眼下五种热门的现成对象识别算法–微软 Azure、Clarifai、谷歌 Cloud Vision、亚马逊 Rekognition 和 IBM Watson 进行了研究,以此来了解每个系统对来自全球数据集的家庭物品的识别能力。

  据悉,数据集包含了 117 个类别–从鞋子到肥皂再到沙发等等–和一系列不同的家庭收入和地理位置–从月收入 27 美元的布隆迪的家庭到月收入 1090 美元的乌克兰的家庭等。

  研究人员发现,与月收入超过 3500 美元的家庭相比,当被要求识别月收入只有 50 美元的家庭的物品时,物体识别算法的出错率要高出 10% 左右。在准确性上的绝对差异甚至更大:与索马里和布基纳法索的物品相比,这些算法在识别来自美国的物品上要高出 15% 至 20%。

  研究人员在报告中指出,这些发现在一系列用于图像识别的商业云服务中的表现是一致的。

研究:AI在识别低收入国家家庭用品上表现糟糕-冯金伟博客园

  实际上,这种偏见在 AI 中是一个众所周知的问题,它有着许多的根本原因。其中最常见的一种就是,用于创建算法的培训数据往往反映了相关工程师的生活和背景。由于这些人通常是来自高收入国家的白人男性,所以他们教授的课程所要识别的东西自然也都是来自这些高收入的国家。

  AI 偏见最知名的例子之一就是面部识别算法,这种算法在识别女性面孔时表现更差,特别是在面对有色人种女性的时候。

  在对象识别算法的例子中,研究作者指出,有几个可能的错误原因:第一,用于创建系统的训练数据受地理限制;第二,它们无法识别文化差异。

  同样的,大多数图像数据集都是使用英语名词作为起点,并展开相对应的数据收集。这可能意味着整个类别的物品在系统消失不见,或相同的物品在不同的国家实际上代表着两种不同的东西。作者以 dish soap 为例,在一些国家,dish soap 是一种肥皂,而在另一些国家,dish soap 是一种液体容器。

  而这可能只是冰山一角。虽然视觉算法是能相对容易评估出这些偏见,但创建这些程序的渠道同时也在为整个行业提供算法,而这些算法永远不会受到同样的审查。

  虽然硅谷经常把自己的产品尤其是近年来的 AI 产品宣传为人人平等、人人可得,然而类似的研究却显示,科技公司则是在按照自己的形象评估、定义和塑造世界。