“教学参考-15”版本间的差异

来自cslt Wiki
跳转至： 导航、 搜索
（以“==教学目标== * 了解机器学习的四大流派及其背后的基础思想 * 理解不同学派之间的对比优缺点 * 理解不同学派在同历史阶段...”为内容创建页面）
 
 
第1行： 第1行：
 
==教学目标==
 
==教学目标==
  
−
* 了解机器学习的四大流派及其背后的基础思想
+
* 理解人工神经网络实现人工智能的基本思想
−
* 理解不同学派之间的对比优缺点
+
* 了解神经网络研究的基本历史进程及重要历史事件
−
* 理解不同学派在同历史阶段兴盛发展的原因
+
* 引导学生思考科学研究的曲折性
  
  
 
==教学内容==
 
==教学内容==
  
−
===符号学派===
+
===大脑中的神经网络===
  
−
* 符号学派起源于基于符号演算的人工智能方法。传统上，符号系统的知识是人为定义的，是不可更改的。然而，真实场景中还可能出现一些没有被覆盖的新知识。不论哪种场景，这涉及到对知识库的修改。
+
* 我们的大脑是由超过1千亿个神经元组成的，这些神经元都是同质的，而且功能很简单，但当大量神经元连接在一起时，就可以完成很复杂的功能。特别重要的是，神经元之间的连接是可学习的，我们就是通过这种能力，慢慢学会了各种技能。
−
* 引入学习方法，基于实际数据对知识内容或其应用顺序进行调整，或总结出新知识，可以使符号系统的适用性更强。
+
* 婴儿出生以后，大脑中神经元连接的数量随着年龄增长而逐渐增加。到一定年龄以后，连接数量不再增加，但连接的结构性会增强。
−
* 符号学派的学习能力较弱，一般不允许对知识主体做大规模改动。
+
* 注意神经元的特点：（1）同质性，所有神经元都是一样的；（2）连接性，通过边接实现功能；（3）可学习性。这些特性也是人工神经元的基本特点。
  
−
===贝叶斯学派===
 
  
−
* 贝叶斯学派将事件描述成变量，将事件之间的相关性描述成变量之间的条件概率。模型设计者可以依据领域知识设计变量之间的条件概率的形式，但不确定其具体参数。
+
===人工神经网络模型===
−
* 以一个预测降雨的贝叶斯概率模型为例，设降雨与云量和湿度都有关系，且具有简单的相关形式如下： P(降雨=1)=sigma(a X 云量 + b X 温度 + c）。
+
−
* 在模型学习时，通过调整模型参数（a,b,c)，使得模型尽可能精确地描述训练集中的样本。当训练完成时，即可以通过概率公式计算出不同情况下的降雨可能性。
+
−
* 贝叶斯模型将知识存储在概率模型中，具有坚实的理论基础和强大的学习能力。
+
  
 +
* 受人类神经网络的启发，1943年美国计算神经学家沃伦·麦卡洛克和沃尔特·皮茨提出人工神网络模型(ANN)。
 +
* 这一模型很简单：设第k个神经元接受m个前驱神经元的输出作xi为输入，每个输入乘以一个连接权重wki，得到总输入vk=bk+wk1x1+wk2x2…+wkmxm,再经过一个门限函数φ,输出yk= φ(vk)，取值为0或1，代表该神经元是否被激发。
 +
* 麦卡洛克和皮茨发现，有限个这样的神经元互相连接，可以用来实现命题逻辑演算。后续研究者发现，神经网络可以对图灵机进行模拟。这些研究确立了神经网络作为通用计算工具的基础性地位。
 +
* 注意，这个神经元是人为定义的，不可学习的。
  
−
===连接学派===
+
===可学习的人工神经网络===
 +
* 1948年，图灵在《智能机器》一文中曾提出一种称为“B型非组织机”的神经网络模型，并设想用类似遗传算法的方式对模型进行学习。
 +
* 1958年，康奈尔大学的佛兰克·罗森布拉特在IBM 704 电脑上实现了一个称为“感知器”的单层神经网络。网络采用麦卡洛克-皮茨提出的神经元结构，不同的是感知器的神经元连接是可学习的。罗林布拉特将感知器模型实现为一台称为Mark 1 感知机的专用硬件上，可识别字母和数字图像。
 +
* 感知器的神经元只有一层，只能处理线性可分问题。1969年，马文-闵斯基出版了《感知器》一书，指出了感知器模型的局限性，神经网络研究走向低谷。
 +
* 1986年，戴维·鲁姆哈特、杰弗里·辛顿和罗纳德·威廉姆斯在《自然》杂志发表论文，提出了一种称为“反向传播算法（BP算法）”的训练方法，使得多层神经网络训练成为可能。多层神经网络解决了感知器模型的缺限，使神经网络真正成为强大的建模工具。
 +
* 反向传播算法的基本思想是计算网络输出值与目标值之间的偏差，基于这一偏差调整网络连接权重，使得这一偏差下降最快。反向传播算法本质上是一种梯度下降算法，特别之处是利用神经网络的层次结构，首先调整最后一层连接的权重，再调整倒数第二层的权重……依此类推，直到调整到网络第一层为止。这一参数调整过程是从后向前的，因此称为反向传播算法。
  
−
* 连接学派的基本思想是通过模拟人的神经系统实现智能。人的神经系统，特别是大脑，是由大量神经元互相连接形成的，每个神经元都具有同样的简单结构，但当它们互相连接起来形成神经网络以后，就可以表现出强大的智能。
+
===蓬勃发展===
−
* 基于这一思路，连接学派设计了人工神经元网络模型，网络中每个节点模拟一个神经元，神经元互相连接形成功能。这些连接在模型设计时取随机值，并在模型训练时进行调整。因此，神经网络是利用连接的强弱（称为连接权重）来存储知识的。
+
−
* 神经网络概念清晰直观，结构简单，可学习性强，在人工智能发展之初就得到研究者的广泛关注。然而，直到近十年，随着数据的积累和深度学习算法的提出，神经网络才真正展现出其特有的优势。
+
−
* 右图是用来预测降雨发生与否的神经网络。训练时将训练样本的湿度和云量作为输入，训练目标是使得网络输出尽可能接近样本标记（即是否降雨）。
+
  
−
===符号学派、贝叶斯学派、连接学派比较===
+
* 90年代以后，人工神经网络蓬勃发展，人们提出卷积网络、循环网络等具有独特性质的神经网络变种，极大推动了神经网络的应用。
−
 
+
* 2006年前以后，以深度神经网络为代表的深度学习技术突飞猛进，在各个领域取得极大成功，神经网络成为人工智能领域最重要的工具。
−
* 符号系统需要大量人为设计，因此知识依赖性最强；概率模型需要设计变量以及变量间的概率关系，知识依赖性较弱；神经网络只需设计网络结构，知识依赖性最低。对应的，符号学派限制最多，可学习性最差，需要的数据最少，概率模型次之，神经网络最为灵活，可学习性最强，数据需求也最大。最后，过于灵活的结构使得神经网络模型难以理解，可解释性下降。
+
* 当前我们谈论的人工智能，绝大部分是以人工神经元网络为代表的人工智能技术。
−
 
+
−
 
+
−
===进化仿生学派===
+
−
 
+
−
 
+
−
* 进化仿生学派认为，人类的智能是生物长期进化的结果，包括以交叉繁衍和个体变异为基础的繁衍过程和以自然选择为基础的优胜劣汰机制。模拟这一进化过程可以实现类人的智能。进化仿生学派把优胜劣汰作为产生智能的基础原则。
+
−
* 遗传算法是进化仿生学派的代表性算法。这一算法把机器学习的目标函数视为自然选择的标准，将每个可能的解决方案视为种群个体，通过参数互换和随机扰动生成新的解决方案。基于这样的设计，以自然选择为基础的进化过程即可模拟目标函数的优化过程。
+
−
* 什么意呢？假设我们想优化一个模型，它有很多参数，记为W。如何做呢？可以采用尝试法，随机生成一个W，然后基于W来计算目标函数值。把那些取得较高目标函数（假设目标函数越大越好，如果某个问题不是这样，可加个负号将最小化问题转成最大化问题）的W拿出来组成一个种群，让这个种群交叉、变异，生成新种群W'，再去计算新种群W'的目标函数。这意味着我们是用目标函数作为进化的目标来进行自然选择的。这样的过程重复进行，即可得到越来越好的个体，即具有更高目标函数值的解W。
+
−
* 和前四个学派不同，进化仿生方法并不对应特别的模型，而是一种优化方法。这一方法可用于优化符号系统、概率模型或神经网络，也可以用于求解不具有明确模型结构的一般性问题，如右图所示的天线设计。
+

2022年8月4日 (四) 13:06的最后版本

教学目标

  • 理解人工神经网络实现人工智能的基本思想
  • 了解神经网络研究的基本历史进程及重要历史事件
  • 引导学生思考科学研究的曲折性


教学内容

大脑中的神经网络

  • 我们的大脑是由超过1千亿个神经元组成的，这些神经元都是同质的，而且功能很简单，但当大量神经元连接在一起时，就可以完成很复杂的功能。特别重要的是，神经元之间的连接是可学习的，我们就是通过这种能力，慢慢学会了各种技能。
  • 婴儿出生以后，大脑中神经元连接的数量随着年龄增长而逐渐增加。到一定年龄以后，连接数量不再增加，但连接的结构性会增强。
  • 注意神经元的特点：（1）同质性，所有神经元都是一样的；（2）连接性，通过边接实现功能；（3）可学习性。这些特性也是人工神经元的基本特点。


人工神经网络模型

  • 受人类神经网络的启发，1943年美国计算神经学家沃伦·麦卡洛克和沃尔特·皮茨提出人工神网络模型(ANN)。
  • 这一模型很简单：设第k个神经元接受m个前驱神经元的输出作xi为输入，每个输入乘以一个连接权重wki，得到总输入vk=bk+wk1x1+wk2x2…+wkmxm,再经过一个门限函数φ,输出yk= φ(vk)，取值为0或1，代表该神经元是否被激发。
  • 麦卡洛克和皮茨发现，有限个这样的神经元互相连接，可以用来实现命题逻辑演算。后续研究者发现，神经网络可以对图灵机进行模拟。这些研究确立了神经网络作为通用计算工具的基础性地位。
  • 注意，这个神经元是人为定义的，不可学习的。

可学习的人工神经网络

  • 1948年，图灵在《智能机器》一文中曾提出一种称为“B型非组织机”的神经网络模型，并设想用类似遗传算法的方式对模型进行学习。
  • 1958年，康奈尔大学的佛兰克·罗森布拉特在IBM 704 电脑上实现了一个称为“感知器”的单层神经网络。网络采用麦卡洛克-皮茨提出的神经元结构，不同的是感知器的神经元连接是可学习的。罗林布拉特将感知器模型实现为一台称为Mark 1 感知机的专用硬件上，可识别字母和数字图像。
  • 感知器的神经元只有一层，只能处理线性可分问题。1969年，马文-闵斯基出版了《感知器》一书，指出了感知器模型的局限性，神经网络研究走向低谷。
  • 1986年，戴维·鲁姆哈特、杰弗里·辛顿和罗纳德·威廉姆斯在《自然》杂志发表论文，提出了一种称为“反向传播算法（BP算法）”的训练方法，使得多层神经网络训练成为可能。多层神经网络解决了感知器模型的缺限，使神经网络真正成为强大的建模工具。
  • 反向传播算法的基本思想是计算网络输出值与目标值之间的偏差，基于这一偏差调整网络连接权重，使得这一偏差下降最快。反向传播算法本质上是一种梯度下降算法，特别之处是利用神经网络的层次结构，首先调整最后一层连接的权重，再调整倒数第二层的权重……依此类推，直到调整到网络第一层为止。这一参数调整过程是从后向前的，因此称为反向传播算法。

蓬勃发展

  • 90年代以后，人工神经网络蓬勃发展，人们提出卷积网络、循环网络等具有独特性质的神经网络变种，极大推动了神经网络的应用。
  • 2006年前以后，以深度神经网络为代表的深度学习技术突飞猛进，在各个领域取得极大成功，神经网络成为人工智能领域最重要的工具。
  • 当前我们谈论的人工智能，绝大部分是以人工神经元网络为代表的人工智能技术。
取自“http://index.cslt.org/mediawiki/index.php?title=教学参考-15&oldid=38869”