循环神经网络常用来做时序分析,即根据现有的按发生顺序排列的数据来预测未来的走势,循环神经网络大量用于语音分析、语言翻译、金融分析、内容推荐等领域,循环神经网络是一个大的分类,代表模型是RNN(循环神经网络)、LSTM(长短时记忆网络),与之前介绍的全连接神经网络、卷积神经网络不同,循环神经网络在反向传播时不仅有层与层之间传递,还有时间维度上的传递。
一、RNN循环神经前向传播
RNN是初级的循环神经网络,训练过程中每个序列中中间运算结果会进入下一次的输入中,其示意图如下:
上图左边是RNN结构图,右侧是RNN按序列输入展开后的示意图,图中xt-1、xt、xt+1代表一串序列,序列中每个元素都为向量,例如有编号为d1,d2,d3,d4,d5,d6...采集数据,每个编号数据为一个实数,可将编号d1,d2数据合并为一个二维向量,将编号d3为标签值得到一个样本x1=(d1,d2),y1=d3,依此类推,有序列x2=(d2,d3),y2=d4、x3=(d3,d4),y3=d5、x4=(d4,d5),y4=d6等,采用循环神经网络类似于英语中完形填空题,我们通过语法学习培养出语感后(模型训练),可在缺失处填写正确的单词使得语句完整。
RNN有类似全连接神经网络的隐藏层,RNN可以有多个隐藏层,以只有一个隐藏层的RNN为例,RNN前向传播的公式有:
⑴
Nett表示序列中第t个序列的输入,对应于上图Nett是隐藏层神经单元s的输入值,Nett中含有上一次隐藏层的输出值st-1,Nett经过激活函数f处理后为隐藏层的输出值,这个流程与全连接神经网络是很相似的,假设激活函数f选择使用双曲正切函数tanh(x),tanh(x)函数形式以及图像分别如下:
双曲正切函数导数与自身有一定形式上关联,导数公式如下:
隐藏层输出乘以权重V后经激活函数g处理后变为最终RNN神经网络的输出,输出后的值根据具体问题选择适当的损失函数,如是分类问题常用交叉熵函数,与此同时激活函数g一般是softmax函数;如果是回归问题,则损失函数可选择平方误差函数,这时激活函数一般可选择Relu函数。
二、 RNN反向传播过程
2.1、循环神经网络误差梯度按时间、空间传递
前面已经说过,循环神经网络与全连接神经网络、卷积神经网络最大不同在于误差体现时间维度上累积,这是所有包括LSTM在内所有循环神经网络的特性,通过研究RNN可以将一些结论拓展沿用到LSTM上,这正是研究RNN的意义所在。循环神经网络上反向传播时,首先要求出在时间维度上的误差梯度,然后再考虑层与层之间误差梯度传递。
RNN实质是个全连接神经网络,可利用DNN反向传播方法推导出RNN在t时刻的误差梯度,所有神经网络都一样误差都是定位到输入端,设t时刻梯度为:
已知t时刻误差δt后,上一个时刻t-1的误差梯度δt-1根据链式求导法则有:
(2.1)
求δt-1核心是求,Nett和Nett-1都是向量,其中有st-1=f(Nett-1),等于以下等式:
(2.2)
上式出现了一个向量对另一个向量求导,以为例,Nett和st-1为相同维度向量,不妨设Nett、st-1∈Rn,由①式可看出Nett中每个元素都是含st-1分量的函数:
类似的,也可求出,由st-1=f(Nett-1)形式可知,st-1任意一个分量仅仅是函数:
综合上面两个公式,在已知δt时,上一时刻误差梯度δt-1有:
(2.3)
需要注意公式两边都有转置,这是因为W*diag[f'(Nett-1)]是一个n*n的方阵,而δt是n行1列的向量,所以δt需要先转置后方能运算,这样得到的δt-1也是n行1列的向量,假设k是从0到t某一个时刻,从(2.3)式可递归得到k时刻的梯度误差:
(2.4)
通过公式2.4即可通过当前时刻的梯度推算出之前任意时刻的误差,接下来再来分析层与层之间的误差传递,RNN的多层结构反向推导与全连接神经网络一致,假设已知t时刻l层误差为,每层之间输入、输出关系为:
到达l层之前皆为全连接神经网络,l-1层为RNN的起始输入端,这里不仅接受输入向量xt还要接受来自上一次序列的隐藏层输出st-1,设al-1为l-1层输出,求导可得:
利用上式可得l-1层误差公式:
(2.5)
2.2、求权重参数梯度
通过公式(1.4)、(1.5)可求出任意时刻、任意层的误差梯度,接下来就可以求权重的梯度了,再次列出(1)式:
假设输入向量xt∈Rm,则U∈Rn*m,W∈Rn*n,Nett、st、st-1∈Rn,以求矩阵参数W为例:
(2.6)
求W的梯度核心是求,从Nett定义中可以看出U、xt与W无关,所以有:
上式代入(2.6)后有:
(2.7)
(2.7)分为两部分,先来看,该式中的是矩阵对矩阵求导,求出后将迎刃而解:
是一个克罗内克积(Kronecker积),大小为n2*n2的方阵,由于所以是一个少量值为1其余为0的稀疏矩阵,上式可以进一步表示为:
上一篇 CNNs-卷积神经网络 | 下一篇 LSTM-循环神经网络(下) |
评论区 |