教学参考-16

来自cslt Wiki
2022年8月5日 (五) 04:06Cslt讨论 | 贡献的版本

(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转至: 导航搜索

教学目标

  • 了解全连接网络、卷积神经网络、循环神经网络、自编码器的概念及结构特点
  • 理解卷积神经网在处理图像任务、卷积神经网络在处理自然语言处理任务的优势
  • 理解自编码器可以抽取重要特征的原因


教学内容

全连接网络

  • 多层感知器是罗森布拉特标准感知器的扩展。如果以神经元来计算层数,一个多层感知器至少包含三层:一个输入层,一个隐藏层和一个输出层。
  • 数据通过输入层进入网络,乘以连接的权重入后输入到隐藏层节点。隐藏层节点将这些加权后的输入求和并经过一个非线性变换(称为激发函数)后送往输出层。
  • 右上图是一个三层多层感知器示意图,右下图是一个非线性变换的例子,其中横轴为输入,纵轴为对应的输出,二者之间呈现非线性关系。
  • 一般来说,多屋感知器相邻两层之间的所有节点都是互相连接的,因此也称为全连接网络。全连接网络是最通用的网络结构。然而,在很多实际应用中,数据往往具有特殊的属性,利用这些特殊性构造具有独特结构的网络,往往会取得更好的效果。

卷积神经网络

  • 卷积神经网络是应用最广泛的具有特殊结构的神经网络之一。这一网络的特点是隐藏层的每个节点只与输入层的部分节点有连接,且这些连接权重是共享的。如右图所示,隐藏层的每个节点只与输入平面上的9个节点连接,且这些连接对所有隐藏节点都是一样的。
  • 这种特别的结构在计算上等价于一个以权重为参数的“透镜”在输入平面上的扫描过程,这一过程称为“卷积”,因此称为卷积神经网络。
  • 卷积神经网络特别适合具有局部特征,且这些特征在空间上具有不变性的数据。例如一张包含猫脸的图片,猫脸在整张图片中只占有部分区域,因此猫的特征是局部的;同时,不论猫的脸在图片的什么位置,它都是一只猫,这称为空间不变性。卷积神经网络特别适合提取这种局部的、具有空间不变性的特征,因此在图像处理领域得到广泛应用。

循环神经网络

  • 循环神经网络是包含环形连接的网络,如下图所示,隐藏层包含一个到自身的环形连接。这一特殊的连接将前一时刻的计算结果反馈到下一时刻,作为下一时刻的输入,使得网络具有时序上的记忆能力。
  • 如下图所示,将左侧所示的网络连续运行三次,这一顺序运行的过程等价于右侧的展开图。可以看到,因为存在环形连接,每次运行时上一时刻的隐藏层节点的值将输入到下一时刻,因此每一时刻网络的行为都不是独立的,而是取决于之前的运行过程。换句话说,循环神经网络具有记忆功能,网络的输出具有累积效应。

自编码器

  • 自编码器是另一种重要的神经网络结构。这一网络的训练目标是使得网络的输出尽可能与输入一致,即恢复输入数据。如右图所示,输入是一只猫,网络希望尽可能在输出端恢复这只猫。
  • 特殊的是,这一网络的中间层所包含的节点数要小于输入和输出层的节点数。这意味着输入数据在经过中间层时会有信息损失,因此这一层又称为瓶颈层。
  • 因为网络要尽可能恢复输入数据,瓶颈层只能选择那些最重要的信息保留下来,这事实上实现了重要特征的提取功能。右图中,瓶颈层保留了猫的轮廓,因为这是恢复输入图片最重要的信息。