0. 前言

通常神经网络的问题：

参数如何选择
何时停止训练
局部最优解

1. 回声网络ESN

具有以下特点：

大且稀疏生物连接，RNN被当做一个动态水库
动态水库可以由输入或/和输出的反馈激活
水库的连接权值不会被训练改变？
只有水库的输出单元的权值随训练改变，因此训练是一个线性回归任务

假设有ESN是一个可调谐的sin波生成器：

黑色箭头是指固定的输入和反馈连接
红色箭头指可训练的输出连接
灰色表示循环内连接的动态水库

典型RNN存在的问题：

没有明确的终止条件
通常这些算法收敛速度慢和/或导致次优解
ESN使用大循环水库（50-1000），而RNN通常只用到5-30个神经元

为什么需要循环神经网络：

如果人们想要模拟、预测、过滤、分类或控制非线性动力系统，就需要一个可执行的系统模型
通常获得分析模型是不可行的，因此必须使用黑箱建模技术
对于线性系统，可以使用有效的黑箱建模方法
RNNs可用于非线性动力系统的建模

为什么使用ESN：

统计信号处理的典型方法是建立在三个基本假设：线性、稳定和高斯分布。为了便于数学计算而引入的假设。

大多数的实际物理信号是由动态过程产生，这些过程是非线性的、非稳定的和非高斯的

ESNs和一般RNNs在非线性领域推广了简单的自适应线性滤波器，可用于任何非线性动力系统的建模

输入到水库是全连接，水库到输出是全连接，水库内部不是全连接

ESN描述：

水库有N个内部网络单元
在时刻(n geq 1)，输入是(u(n))，输出是(y(n))
内部单元的激活是一个(N*1)向量：(x(n)=(x_1(n), …,x_N(n)))
水库内部连接表示为一个(N*N)的矩阵(W)，表示内部的拓扑结构以及连接的权值
输入权值表示为(N*1)的向量(w^{in})
输出权值表示为((N+1)*1)的向量(w^{out})

因为有水库输出权值连接(N)，以及输入到输出的连接(1)，所以为((N+1))长度的向量

非线性系统描述：

(x(n+1)=f(Wx(n)+w^{in}u(n+1)+v(n+1)))

每个神经元都和输入、部分神经元连接，

(y(n+1)=f^{out}(w^{out}(u(n+1),x(n+1))))

（内部状态(x(n))指的是什么？）

在确定条件下网络状态逐渐独立于初始状态，并只依赖于输入历史，体现网络的记忆能力：

(W)有谱半径(|lambda_{max}|>1)，谱半径是矩阵的最大特征值，此时就会丢失回声特性，需要对其做归一化处理，(W_{new}=W/|lambda_{max}|)

为了保证系统稳定能够收敛，需要将(Wx=y)的输出(y)小于输入(x)，(W_{new}=W/|lambda_{max}|)
特征值的概念就是方阵在特征向量上的投影，特征向量相当于是空间中的一组基，所以特征值相当于是方阵在一组基上的半径。谱半径是这种半径的最大值，也就是最大特征值。除以(lambda_{max})相当于归一化。

(W)最好是稀疏矩阵

通常(W)是由([-1,1])的均匀分布随机生成，然后使用(|lambda_{max}|)做归一化处理使谱半径(alpha)小于1，(alpha)是ESN成功的重要参数，小的(alpha)对应快的信号，大的(alpha)对应慢信号和更长的短时记忆。

在训练时我们计算输出权值，误差描述为：

(e_{train}(n) = (f^{out})^{-1}y_{teach}(n)-w^{out}(u_{teach}(n),x(n)))

离线训练算法过程：

初始化(W)，保证其谱半径(alpha<1)，用输入的教师信号运行ESN
从初始瞬态中消除数据，并将剩余的输入和网络状态((u_{teach}(n);x_{teach}(n)))按行收集到矩阵(M)中
收集训练信号((f^{out})^{-1}y_{teach}(n))到向量(r)
(w^{out}=(M^{-1}r)^T)

实质上是求解(y(n+1)=f^{out}(w^{out}(u(n+1),x(n+1))))
假设(y(n)=w^{out}(u(n), x(n)))，并且(U(t) = (u(t), x(t)))，则有(w^{out}=y(n)U^T(t)(U(t)U^T(t)-lambda I)^{-1})

由此，就得到了输出权值

ESN将非线性问题转换为线性回归问题，只需要训练输出系数(w^{out})。

4个决定性能的参数：

池谱半径，(lambda_{max}<1)是网络稳定的必要条件
池规模（节点数），池规模越大对动态系统的描述越接近，但是会带来过拟合
池输入单元尺度(w_{in})，需要处理的对象的非线性越强该值越大
池稀疏程度，表示池中神经元之间的连接情况，池中不是所有的神经元都存在连接。稀疏程度指的是池中相互连接的神经元占总的神经元的百分比，其值越大非线性能力越强

参考资料：
[1] ESN介绍