图灵奖得主Bengio和LeCun：自监督学习可使AI达到人类智力水平

图片来源@全景视觉

　　文丨学术头条

　　在 2020 的 ICLR 线上大会上，蒙特利尔学习算法研究所主任、图灵奖得主 Yoshua Bengio 和 Facebook 的副总裁兼首席人工智能科学家 Yann LeCun，坦率地谈到了未来 AI 的研究趋势。

　　根据两位大咖的说法，自我监督学习可能使 AI 产生类人的推理能力。

　　自监督学习，像人一样自觉观察世界

　　监督式学习需要在有标注的数据集上训练 AI 模型，而 LeCun 认为随着自我监督学习的广泛应用，这种训练模式的作用将逐渐减弱。自监督学习算法不再依赖标注，而是通过揭示数据各部分之间的关系，从数据中生成标签。

　　自监督学习是一种机器学习的「理想状态」，重点在于如何自动生成数据标签，这一步骤被认为对于实现人类水平的智能至关重要。举一个例子，例如输入一张图片，把图片随机旋转一个角度，然后把旋转后的图片作为输入，随机旋转的角度作为标签。

　　很多网友比较关注的一个问题是，自监督学习和无监督学习是一个意思吗？

　　自监督类似无监督学习，都是从没有明确标签的数据中进行学习。但无监督学习侧重于学习数据的内在关系、结构，比如 clustering、grouping、density estimation, or anomaly detection 等等，而自监督是根据数据集本身生成标签。

　　为了进一步解释自监督学习，LeCun 做了类比，「不管是我们人类，还是动物，在学习大多数事物时，都是在自我监督的模式下进行的，而不是强化学习模式。这个模式本质上就是观察这个世界，然后不断与之增进互动，这种观察是自发的，而不是在测试条件下完成的。」LeCun 表示，「这种学习方式，比较难以用机器来复制。」

　　其中，不确定性是阻碍自监督学习成功的主要障碍。

连续分布和离散分布

　　数据的分布是这样一个表，它将变量所有可能的值与其出现的概率联系起来。在变量是离散的情况下，它们可以很好地表示不确定性，这就是为什么像 Google BERT 这样的架构如此成功。但目前，研究人员尚未找到一种方法来有效地表示连续变量的分布。

　　在斯坦福对话问答数据集上测试时，BERT 实现了 93.2% 的准确率，分别优于最先进的机器学习水平和人类水平。斯坦福问答数据集是一个阅读理解的数据集，包含了一组维基百科文章中提出的问题。在通用语言理解评估基准测试（一个用于培训和评估 NLP 系统的资源集合上，BERT 的准确率达到了 80.4% 。

　　解决连续分布问题

　　LeCun 认为，找到一种能表示连续分布的模型，就会有新突破。

　　Lecun 指出，连续分布问题的一个解决方案是利用基于能量的模型（EBM），它能够学习数据集中的数学元素，并生成类似的数据集。

　　此前，OpenAI 开发了一种基于能量的模型，可以快速学会识别和生成概念，例如附近，上，中，最近和最远等，并表示为 2D 点集。模型仅在五次演示后学习了这些概念。

　　从过去的研究中看，这种形式的建模一直难以应用到实际当中，但 Open AI 2019 年的研究表明，这种基于能量的模型可以支持复杂的拓扑（topologies）。

　　Bengio 在研讨中表示，他相信人工智能研究可以从神经科学领域受益颇多，特别是意识和意识处理的探索方面。当然收益也是双向的，一些神经科学家正在使用卷积神经网络作为视觉系统的腹侧通路。

　　Bengio 预测，新的研究将阐明高级语义变量与大脑如何处理信息（包括视觉信息）之间的关系。而这些变量是人类语言交流所用的，它们可能会衍生出新一代的深度学习模型。

　　「通过与基础语言学习相结合，我们可以取得很多进展，归根结底我们都在打造能够理解这个世界的模型，以及高层次的概念是如何相互关联的。这是一种联合式的分布，」Bengio 说。「我相信，人类的意识处理过程，利用的是有关世界如何变化的假设，这些假设可以理解成为一种更高层次的表达方式。简单来讲，就是我们看到世界的变化，然后想到一句话来解释这种变化。」

　　达到人类智力的另一难题：背景知识

　　想要实现人类智力，另一大难题就是背景知识。正如 LeCun 所解释的，大多数人可以在 30 小时内学会驾驶汽车，因为他们已经凭借直觉构建了一个关于汽车行动方式的物理模型。相比之下，现在无人驾驶汽车所采用的强化学习模型要从零开始学起—- 他们必须犯上成千上万次的错误，才能做出正确的操作。