大数据文摘作品

编译： sqdqt Zuo、惊蛰、jmdxs

深度学习(DL )或人工神经网络(ANN )模拟了生物神经元吗？

这是一个很大的误解。

ANN充其量模仿了1957年发售的低配版神经元。

如果有人声称深度学习的灵感来源于生物，也许是出于各种营销目的，没有读过生物学文献。

但是，仿生机器人的研究可能会受到阻碍。

最近在Cell上发表的两个神经元基因Arc的新发现揭示了生物神经元更大的复杂性，它比我们想象的要复杂得多。

《大数据文摘》公众号的背景对话框回复“生物”获取论文

深度学习的神经元实质上是数学函数，即相似度函数。 在各人工神经元内，比较加权的输入信号和神经元的阈值，匹配度越高，激活函数值为1时执行某些动作的可能性越高，不执行(函数值对应于0 )的可能性越低。

虽然有自回归神经网络Autoregressive networks这样的个别例外，但是很多深度学习算法都像珀普顿、卷积神经网络、循环神经网络、CNN这样

生物神经元和深度学习的概念大不相同。

生物神经元不是保持连续的信号，而是产生动作电位，或根据事件采取行动。

因此，“神经形态”(neuromorphic )的硬件是受“综合信息，发送信号”)神经元的启发。

如果对建立仿生认知系统感兴趣的话，我们来看看今年2月的这所普通大学的论文吧。 必须要知道的是，这样的系统不像深度学习框架那样具有连续的作用性。

《大数据文摘》公众号的背景对话框回复“生物”获取论文

本质上，生物系统以最小的能量维持生存，但深度学习系统需要消耗非常多的能量，形成鲜明的对比。 深度学习是利用无力量的手段(反复尝试和错误)来实现认知的，虽然知道其结构，但是还不知道如何减少深度学习的能量消耗。

迄今为止，学术界一直希望利用仿生技术建立比深度学习更强大的体系，但在这方面已经努力了很久，但进展尚不清楚。 已经取得的进展有HTM神经元，它更接近新大脑皮质(neo-cortex )结构。 从下图可以看出，这个神经元模型比深度学习的神经元要复杂得多。

左：深度学习ANN，中：生物神经元，右： HTM神经元

相比之下，深度学习方法虽然使用的是和动画一样单纯的神经元模型，但在这一段时间里意外地活跃，在认知方面起到了令人难以置信的效果。 深度学习做得非常正确，但我们还不明白它在做什么。

但是，仿生机器人的研究可能会受到阻碍。 关于以色列神经元性质的新实验表明，生物神经元比我们想象的要复杂得多：

《大数据文摘》公众号的背景对话框回复“生物”获取论文

总而言之，生物神经元的这些特性我们刚刚知道：

每个神经元的峰值电位波形通常随刺激部位而变化，两者的关系可以用函数表示

在细胞外，从不同方向施加的刺激不能引起空间附加(Spatial summation )

细胞内外的刺激重叠后，就不会产生空间附加和空间减法(Spatial subtraction )。 如果这些刺激的正确值不相互关联，非局部时间的干扰也不会顺利进行。

简单地说，一个神经元发生的事情不仅仅是“计算-输出”。

生物神经元很可能不能用单一参数，也就是根据权重变化的纯函数来描述。 就像一台可以显示各种状态的机器。 换句话说，权重不是单一值，而是多个值，甚至可能是更高的维度。 这些神经元的性质还没有被探索，我们对此几乎一无所知。

如果你觉得这样的解释让理解神经元的性质变得更加困难，那么Cell有两个最近发表的神经元基因Arc的新发现，揭示了更大的复杂性。

>

神经元释放的细胞外囊泡中，很多都含有一种叫做Arc的基因，可以帮助神经元之间相互建立连接。那些被基因改造后缺乏Arc基因的小鼠难以形成长期记忆，而人类的一些神经功能障碍也与这个基因有关。

这项研究表明，神经元之间的交流是通过发送成套RNA编码实现的。更准确地说，是成套的指令而非数据。发送编码和发送数据完全是两码事。这也就意味着，一个神经元的行为可以改变另一个神经元的行为；不是通过观察，而是通过彼此修正。

这种编码交换机制隐隐证实了一些早期的猜想：“生物大脑仅仅是由离散的逻辑构成的吗？”

实验结果揭示了一个新的事实。即使在我们认知的最小单位，也就是单个神经元之间，也存在着一种对话式的认知（conversational cognition）。这种认知不断修正神经元彼此的行为。

因此，神经元不仅是有不同状态的机器，也是预先设定了指令的、能相互发送编码的通路。

这些实验对我们有两点明确的启示。

第一，我们对人类大脑计算能力的估计可能偏差了至少一个数量级。

如果粗略地设定一个神经元只执行一次运算，那么整体上看人类大脑可以完成每秒38拍字节（Peta）的运算（1拍字节=10^15字节）。

如果假定深度学习模型里的运算都等价于浮点数的运算，那么大脑的性能可以匹敌一个每秒3.8亿亿次浮点运算的电脑系统。当前最顶尖的超级计算机——中国的xndcg之光（Sunway Taihulight）的峰值性能是每秒12.5亿亿次/秒。

然而，大脑的实际运算能力很有可能是我们认为的10倍之多，也就是38亿亿次/秒。不过显而易见的是，生物大脑实际上只用了较少的计算就实现了非常多的认知。

第二，未来在探究深度学习架构时，人们会很热心地采用内部结构更复杂的神经元或者节点。

现在到了重新开始，并探究更复杂的神经元的时候了。迄今为止，我们遇到的比较复杂的神经元类型来自于长短期记忆（Long Short Term Memory, LSTM）。以下展示的是针对LSTM神经元的蛮力架构搜索：

目前尚不清楚为什么这些更复杂的LSTM更为有效，只有架构搜索算法才明白其中缘由，不过算法可不会解释自己是怎么回事的。

最近发布的一篇来自CMU和蒙特利尔大学的论文探究了设计更为复杂的LSTMs。

“大数据文摘”公众号后台对话框回复“生物”获取论文

Nested LSTMs相对于标准的LSTMs实现了重大改进。

综上所述，致力于探究更加复杂的神经元类型的研究计划可能会带来丰硕的成果，甚至可以和把复数值应用于神经网络上带来的硕果相提并论。

在复数神经网络中，只有应用于RNN才能体现出性能的改善。这也表明，要想超越简单的感知，内部神经元复杂度可能是必需的。

这些复杂性对于更高级的认知是必要的，这是现有深度学习认知系统所不具备的。无论是对抗特征的强健性，还是让机器学会忘记、学会忽略什么、学习抽象和识别上下文语境的切换，都是相当复杂的事。

预计在不久的将来，这一领域会出现更多积极大胆的研究。毕竟，大自然已经明确地告诉我们，神经元个体是更复杂的，因而我们创造的神经元模型也可能需要更复杂。

相关报道：

https://medium.com/intuitionmachine/neurons-are-more-complex-than-what-we-have-imagined-b3dd00a1dcd3