人工智能：模型复杂度、模型误差、欠拟合、过拟合/泛化能力、过拟合的检测、过拟合解决方案【更多训练数据、Regularization/正则、Shallow、Dropout、Early Stopping】

人工智能：模型复杂度、模型误差、欠拟合、过拟合/泛化能力、过拟合的检测、过拟合解决方案【更多训练数据、Regularization/正则、Shallow、Dropout、Early Stopping】

• 一、模型误差与模型复杂度的关系
• • 1、梯度下降法
  • 2、泛化误差
  • • 2.1 方差
    • 2.2 偏差
    • 2.3 噪声
    • 2.4 泛化误差的拆分
  • 3、偏差-方差窘境(bias-variance dilemma)
  • 4、Bias-Variance Tradeoff 理论意义
  • 5、K折交叉验证与Bias-Variance关系
• 二、欠拟合&过拟合
• • 1、定义
  • 2、原因以及解决办法
  • • 2.1 欠拟合、过拟合的判断
    • 2.2 欠拟合原因以及解决办法
    • 2.3 “回归算法”过拟合原因以及解决办法
• 二、过拟合的检测
• 三、过拟合解决方案
• • 1、提供更多的训练数据
  • 2、降低模型复杂度
  • • 2.1 Shallow network
    • 2.2 Regularization/正则化/Weight Decay
    • • 2.2.1 L1-norm(sklearn.linear_model.LassoCV)
      • 2.2.2 L2-norm(sklearn.linear_model.RidgeCV)
      • 2.2.3 Elastic Net(sklearn.linear_model.ElasticNetCV)
  • 3、Data Argumentation/数据增强
  • 4、Dropout
  • • 4.1 在训练集Training模型
    • 4.2 在测试集Testing模型
    • 4.3 “Dropout” v.s. “Bagging”
    • 4.4 取平均的作用
    • 4.5 减少神经元之间复杂的共适应关系
    • 4.6 Dropout类比于性别生物进化中的角色
  • 5、Early Stopping
  • • 5.1 目的
    • 5.2 原理
    • 5.3 为什么能减小过拟合
    • 5.4 Early Stopping的缺点