本文主要是介绍Life Long Learning(LLL) 终身学习(增量学习)(Continuous Learning Incremental Learning)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
什么是lifelong learning
人在学习的时候，只有一个大脑，从初中到高中到大学，都是用同一个大脑在学习的
然而在机器学习当中，机器学习的情形真的和人很不一样
机器学习对于每一个作业都会训练一个不同的模型吗，例如从作业1到作业3会训练3个不同的模型
那么为什么我们不每一次作业都训练同一个模型呢
使用同一个模型来进行学习，就是life long learning
Life Long Learning, 也叫Continuous Learning, Never Ending Learning, Incremental Learning
Life Long learning的过程
要让机器能够做到 life long learning, 我们至少需要解决三个问题
①Knowledge Retention 知识保留
让机器把它学过的机器记下来
不能忘记旧的，也要能学新的
如果只使用一个模型来不断的学习不同的任务，自然希望它在学习新的任务的时候，也不要忘记已经学习到的东西。与multi-task learning不太一样——稳定性
②Knowledge Transfer 知识迁移
我们希望我们的模型可以使用已经学习到的东西来帮助解决新的问题，达到触类旁通的效果。与transfer learning又不太一样——可塑性
③Model Expansion 模型拓展
如果模型比较简单，也许处理简单问题时还可以，但是在处理复杂问题时结果不太满意。故我们希望模型可以自己根据问题的复杂度进行扩展，变为更加复杂的模型
知识迁移流程：
- 1.任务按顺序接收
- 2.从先前学习的任务中迁移知识
- 3.存储新知识以备将使用
- 4.改善现有知识
Multi-task learning，Transfer learning，LifeLong learning之间的区别
Transfer Learning vs LifeLong Learning
Transfer learning只考虑在当前任务上的效果
而LifeLong Learning需要考虑在所有任务上的效果Multi-task Learning VS LifeLong Learning
LifeLong Learning训练时只用当前任务的数据
Multi-task Learning会用到之前所有任务的数据这带来了数据存储以及计算量不断增大的问题； Multi-task learning可以看作是LifeLong learning的upper bound
李宏毅——终身学习lifelong learning_shaoyue1234的博客-CSDN博客
李宏毅2020机器学习深度学习(完整版)国语_哔哩哔哩_bilibili
这篇关于Life Long Learning(LLL) 终身学习(增量学习)(Continuous Learning Incremental Learning)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
