澎湃新闻记者 王心馨

要让计算机学会识别一张照片中的图像,通常来说,需要先让它看上千张已经标注好数据的图片。为了能简化计算机识别图像的过程,来自Facebook人工智能研究实验室(FAIR)的六名成员利用Transformer神经网络架构创建了端到端的图像检测AI。

Facebook推出新AI工具可直接识别图片中的物体-冯金伟博客园

DETR可以直接(并行)预测最终的检测结果

研究员将这套工具命名为DETR(Detection Transformer),并表示这套工具简化了识别图片对象需要的组件。

FAIR 在官方博客中称,DETR是第一个成功将Transformer架构集成为图像对象检测核心的工具。Transformer架构可以像近年来对自然语言进行处理一样,彻底改变计算机视觉,或者缩小自然语言处理与计算机视觉之间的差距。

“通过将通用的CNN与Transformer架构相结合,DETR可以直接(并行)预测最终的检测结果,与许多其他现代检测工具不同,新模型在概念上很简单,不需要专门的数据库。”研究员在论文中称。

Transformer架构由谷歌研究人员于2017年创建,Transformer架构最初旨在改进机器翻译的方法,但目前已发展成为机器学习的基石,可用于训练一些最流行的经过预先培训的语言模型,例如Google的BERT,Facebook的RoBERTa等。Transformer架构使用注意力函数代替递归神经网络来预测序列中的下一步。应用于物体检测时,Transformer可以减少建立模型的步骤,例如创建空间锚点和自定义图层等步骤。

研究人员在论文中称,DETR取得的结果可与Faster R-CNN媲美。Faster R-CNN是由微软研究院创建的对象检测模型,自2015年推出以来已获得近10000次引用。

尽管效果不错,但研究人员在论文中也指出了这个模型的主要问题之一:DETR在大物体的识别上比小物体上更准确。研究人员表示:“目前的模型需要几年改进才能应对类似的问题,我们希望未来的工作能够成功解决。”

值得一提的是,DETR是Facebook 最新推出的AI计划,这个计划旨在找到一种语言模型来解决计算机视觉带来的挑战。在此之前,针对自家平台上泛滥的谣言和不实消息,Facebook引入了恶意模因数据集挑战。Facebook认为,恶意图文对于机器学习程序而言是一个有趣的挑战,机器学习在短时间内还找不到完美的解决方法。Facebook希望开发者能创建出模型识别图像和随附文本中违反Facebook政策的内容。