登录

lesson

机器学习与机器学习理论

本课程系统介绍机器学习的基础理论，包括核心问题、学习定义、过拟合陷阱、损失函数与泛化概念，并深入讲解No-Free-Lunch定理及其对模型选择的启示。通过摘要部分建立超额风险分解与三大能力的理论框架，帮助学习者打下坚实的理论基础。

demo215 个模块45 分钟

学习目标

  • 理解机器学习核心问题：从数据到模型的泛化过程
  • 区分训练集、模型、算法三要素，识别过拟合现象
  • 掌握常用术语：样本、特征向量、标签、损失函数、训练损失与测试损失
  • 解释No-Free-Lunch定理的核心断言与直觉含义
  • 描述超额风险分解的三个组成部分及其意义

课程大纲

  1. 01

    课程导入：机器学习核心问题

    从数据到模型，从训练到泛化，核心问题：什么样的数据、模型和算法能保证模型泛化？

  2. 02

    什么是学习？

    从人类学习到机器学习，核心方程：模型输出逼近真实标签。

  3. 03

    训练集、模型与过拟合

    机器学习三要素：训练集、模型、算法，以及过拟合这一核心陷阱。

  4. 04

    理解检查：机器学习基础

    检查对训练集作用及过拟合典型表现的理解。

  5. 05

    常用术语与符号 (1)：数据表示

    用简洁符号描述数据与模型：样本、特征向量、标签、设计矩阵与响应向量。

  6. 06

    常用术语与符号 (2)：损失函数与泛化

    损失函数定义与类型，训练损失与测试损失（泛化误差），核心目标描述。

  7. 07

    交互理解：过拟合模拟

  8. 08

    No-Free-Lunch 定理：动机与直觉

    NFL定理核心断言：不存在一个模型在所有任务上最优，关键洞察与应对策略。

  9. 09

    No-Free-Lunch 定理：形式化证明

    通过简化案例理解NFL定理的核心思想，了解期望误差下界。

  10. 10

    理解检查：No-Free-Lunch

    检查对NFL定理核心断言及相关含义的理解。

  11. 11

    机器学习理论摘要 (1)：超额风险分解

    建立框架，理解近似误差与超额风险两大贡献。

  12. 12

    机器学习理论摘要 (2)：三大能力

    将超额风险分解为泛化误差、训练误差、小量项三个可处理部分。

  13. 13

    机器学习理论摘要 (3)：理论框架总结

    总结三大能力：表达能力、优化能力、泛化能力，及其与最优模型的关系。

  14. 14

    课程总结：知识复盘

    关键问题回顾与多选练习，巩固对NFL、经验风险最小化、偏差-方差权衡的理解。

  15. 15

    复盘与延伸

    核心回顾与扩展思考：深度学习为何能成功？下一章预告：VC维量化泛化能力。