美五大科技巨头语音识别系统被曝存偏见 黑人语音误识率比白人高1倍-冯金伟博客园

图1:研究人员表示,亚马逊智能音箱 Echo 中的语音识别系统存在种族偏见

  腾讯科技讯,3 月 24 日消息,据外媒报道,自从 iPhone 诞生以来,我们就可以通过口述的形式发送短信。把亚马逊搭载智能助手 Alexa 的智能音箱放在咖啡桌上,我们就可以从房间的任何地方点歌。与其他设备相比,它们可能更深入地理解某些声音。

  然而最新研究显示,来自美国五大科技公司——亚马逊、苹果、谷歌、IBM 以及微软的语音识别系统,在黑人用户中的识别错误要比在白人用户多出近倍。

  斯坦福大学研究人员得出结论称,这些系统在白人中错误识别单词的可能性约为 19%。在黑人中,错误率跃升至 35%。其中,大约2% 的白人音频片段被这些系统认为是不可读的。而在黑人中,这各比例上升到 20%。

  这项研究采用了一种异常全面的方法来衡量语音识别系统中的偏差,为人工智能技术迅速进入日常生活提供了另一个警示信号。

  其他研究表明,随着面部识别系统进入警察部门和其他政府机构,在试图识别女性和有色人种时,它们的准确性可能会大大降低。单独的测试已经发现了“聊天机器人”、翻译服务和其他旨在处理和模仿书面或口头语言的系统中,都存在性别歧视和种族歧视行为。

  纽约大学研究新技术中的偏见和歧视的统计学教授拉维·史洛夫(Ravi Shroff)说:“我不明白为什么在这些技术发布之前,这些公司没有进行更多的尽职调查。我不明白为什么这些问题总是层出不穷。”

  所有这些系统都是通过分析大量数据来学习的。例如,面部识别系统通过识别数千张面孔的数字图像中的模式来学习。

  在许多情况下,这些系统模仿了他们在数据中发现的偏见,类似于孩子从父母那里染上的“坏习惯”。例如,聊天机器人通过分析大量的人类对话来学习。如果这种对话将女性与家务联系在一起,将男性与首席执行官的工作联系起来,那么聊天机器人也会这样做。

  斯坦福大学的研究表明,领先的语音识别系统可能存在缺陷,因为这些公司在培训技术时使用的数据并没有尽可能多样化。这些系统的任务主要是从白人那里学习,而黑人参与相对较少。

  参与这项研究的斯坦福大学研究人员之一、专门研究非裔美国人语音的约翰·里克福德(John Rickford)说:“这可能是五家最大的语音识别公司,但他们都在犯同样的错误。我们的假设是,这些公司很好地代表了所有种族,但事实并非如此。”

美五大科技巨头语音识别系统被曝存偏见 黑人语音误识率比白人高1倍-冯金伟博客园

图2:苹果负责软件工程的高级副总裁克雷格·费德里吉(Craig Federighi)在 2018 年的一次会议上谈到了 Siri

  这项研究测试了来自苹果、亚马逊、谷歌、IBM 和微软五大科技巨头公开可用的工具,任何人都可以用它们来构建语音识别服务。这些工具不一定是苹果用来构建 Siri 的工具,或者亚马逊用来构建 Alexa 的工具,但它们可能会与 Siri 和 Alexa 等服务共享底层技术和实践。

  每种工具都在去年 5 月底和 6 月初进行了测试,现在它们的操作方式可能会有所不同。研究还指出,在测试这些工具时,苹果工具的设置与其他工具不同,需要些额外的工程才能进行测试。

  苹果和微软拒绝对这项研究发表评论。亚马逊的一位女发言人指出,该公司在一个网页上表示,它正在不断改进其语音识别服务。IBM 没有回复记者的置评请求。

  谷歌发言人贾斯汀·伯尔(Justin Burr)表示,该公司致力于提高准确性。他说:“几年来,我们一直致力于准确识别语音变体的挑战,并将继续这样做。”

  研究人员使用这些系统对 42 名白人和 73 名黑人进行了采访。然后,他们将每组的结果进行了比较。结果显示,与白人相比,黑人语音的错误识别率明显更高。

  表现最好的系统来自微软,它错误识别了大约 15% 的白人音频和 27% 的黑人音频。与此同时,苹果的系统是表现最差的,在白人和黑人的情况下,分别有 23% 和 45% 的情况识别失败。

  这些黑人测试者来自美国北卡罗来纳州东部一个以非洲裔美国人为主的农村社区,那里是纽约西部和华盛顿特区的一个中型城市,他们用语言学家所说的“非裔美国人地道英语”说话,这是一种有时由城市地区和美国其他地区的非裔美国人说的英语。

  白人测试者则来自美国加州,包括来自该州首府萨克拉门托,另一些人来自大约 500 公里外的一个以白人为主的农村地区。

  研究发现,当比较黑人和白人说出的相同短语时,“种族差距”同样大。这表明问题出在训练系统识别声音的方式上。根据研究人员的说法,这些公司似乎没有对代表非裔美国人白话英语的足够数据进行培训。

美五大科技巨头语音识别系统被曝存偏见 黑人语音误识率比白人高1倍-冯金伟博客园

图3:各种消费产品都在使用语音识别技术,比如谷歌智能助手 Google Assistant

  斯坦福大学工程学教授、参与这项研究的莎拉德·戈尔(Sharad Goel)说:“结果并不是孤立的,问题也并不局限于某一家特定的公司。我们在所有 5 家公司的语音识别系统中都看到了相似的模式。”

  这些公司都已经意识到了这个问题。例如,2014 年,谷歌研究人员发表了一篇论文,描述了早期语音识别中存在的偏见问题。

  去年 11 月份,前谷歌首席执行官兼董事长埃里克·施密特(Eric Schmidt)在斯坦福大学发表了演讲,主题就是“合乎道德的”人工智能。他说,谷歌和硅谷的其他公司都很清楚,人工智能系统的构建方式需要修正。

  施密特当时表示:“我们知道这些数据存在偏见,你不需要把这当作一个新的事实来大喊大叫。人类都有偏见,我们的系统也是如此。问题是:我们该怎么做?”

  像谷歌这样的公司可能很难收集到正确的数据,而且他们可能没有足够的动力来收集这些数据。马萨诸塞大学阿默斯特分校专门研究人工智能技术的教授布伦丹·奥康纳(Brendan O‘Connor)说:“这个问题很难解决,这些数据很难收集。我们正在打一场硬仗。”

  这些公司可能面临“先有鸡还是先有蛋”的问题。如果他们的服务主要由白人使用,他们将难以收集可以为黑人服务的数据。如果他们在收集这些数据时遇到困难,这些服务将继续主要由白人使用。

  华盛顿大学教授诺亚·史密斯(Noah Smith)说:“当你开始思考这些反馈循环时,你会觉得有点儿可怕。这是一个令人感到十分担忧的问题。”(腾讯科技审校/金鹿)