第十三章 学习方法

教学资料

• 教学参考
• 课件
• 小清爱提问：监督学习和无监督学习有什么不同？[]
• 小清爱提问：什么是强化学习？[]
• 小清爱提问：？ []

扩展阅读

• 维基百科：没有免费的午餐定理 [1]
• 维基百科：梯度下降法[2][3]
• 百度百科：梯度下降法[4][5]
• 知乎：梯度下降法[6]
• 知乎：小批量梯度下降法[7]
• 知乎：动量梯度下降法[8][]
• 维基百科：模拟退火算法 [9][10]
• 百度百科：模拟退火算法[11][12]
• 知乎：模拟退火详解 [13]
• 维基百科：牛顿法 [14][15]
• 维基百科：奥卡姆剃刀[16][17]
• 百度百科：奥卡姆剃刀[18][19]
• 维基百科：过拟合[20][21]
• 维基百科：GPT-3 [22][23]
• 机器之心：当谈论机器学习中的公平公正时，我们该谈论些什么？[24]
• 机器之心：数据增强 [25]
• 知乎：数据增强 [26][27]
• 什么是模型预训练[28]
• 迁移学习 [29]

演示链接

• 优化方法在线演示 [30]
• 基于神经网络的二分类任务演示 [31]

高级读者

• 王东，机器学习导论,第一章“绪论”，第十一章“优化方法”[32]
• Wolpert, David (1996), "The Lack of A Priori Distinctions between Learning Algorithms", Neural Computation, pp. 1341–1390 [33]
• Sebastian Ruder, An overview of gradient descend algorithms,2017 [34]
• Kirkpatrick, S.; Gelatt Jr, C. D.; Vecchi, M. P. (1983). "Optimization by Simulated Annealing". Science. 220 (4598): 671–680. [35]
• Brown et al., Language Models are Few-Shot Learners [36]