作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客
本文网址:/HiWangWenBing/article/details/121379935
目录
前言:
一、什么是RNN
二、什么是循环神经网络RNN
三、什么是递归神经网络RNN
前言:
这是一个很容易混淆的概念,网上充斥了大量混用的情形,在学习RNN之前,我们不妨先做个简单的澄清。
一、什么是RNN
NN表示神经网络neural network,关键什么是"R"?
实际上,在深度学习领域,R有两种情形:
(1)RecurrentNeural Network => 循环神经网络RNN
(2)RecursiveNeural Network => 递归神经网络RNN
因此,RNN即是循环神经网络的简称,也是递归神经网络的简称。
其中,循环神经网络的简称更加的广泛!
二、什么是循环神经网络RNN
RecurrentNeural Network => 循环神经网络RNN
字面意思上,循环是指:“时间”的维度上是循环的,是时间上有反馈的网络,循环是指:转了一圈,又回来的网络。
上图左图:空间示意图,在网络形态确定的情况下,网络的输出,不仅仅取决于输入Xt,还取决于之前的输出Ht-1, 即当前的状态。
上图右图:是指按照时间的顺序展开的“逻辑”示意图。X0, X1.......Xt按照时间的顺序依次送入网络中的数据,而h0,h1,.....ht是指按照时间的顺序依次输出的数据。
h1的输出,不仅仅取决于x1的输入,还取决于之前h0的状态,即X1对应的输出,不同的“上文”,其输出是不同的。如我们、它们、他们中的“们”字,在不同的“上文”中含义是不相同的。
这样的神经网络称为“时序神经网络”
时序神经网络适合:
处理“具有时序关系的输入序列”。也就是说,一个输入对应的输出,还取决于其“上文”的应用场合,如文字分类,自然语言处理。
三、什么是递归神经网络RNN
RecursiveNeural Network => 递归神经网络RNN。
字面意思的“递归”是指:是一种“空间”的迭代。网络结构如下图所示:
在该图中:
X1的输入,送给X1的神经元网络。
X2的输入与X1的输出,一起送给X2的神经元网络。
X3的输入与X2的输出,一起总给X3的神经元网络。
如此递归.............................
递归神经网络RNN本质还是一个没有返回和内部状态的“组合逻辑”,而不是“时序逻辑”。
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客
本文网址:/HiWangWenBing/article/details/121379935