本文主要是介绍[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning Delta-learning，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Prompt-Learning and Delta-Tunning
背景和概览
但是从T5开始，大模型越来越大了。
微调很难了。
模型的趋势
Model Scaling：模型越来越大
Difficult Tuning：微调越来越难
Prompt-Learning
基本组成与流程介绍
预训练和fine-tuning有一定的gap。毕竟是不同的任务。
通过额外增加模版。
映射到标签的过程称为verbalizer。
这样就使用了mask任务。弥补了不同之间的gap。
流程举例
如何考虑PLM，Template，Verbalizer
PLM
Auto-regressive有更好的生成能力，mask往往放最后
MaskLM有更好的理解能力，mask往往放中间
Encoder-Decoder，mask位置可以随意
Template
人工构造
人为加入规则
结构化的Template
多个template整合
自动template
最终的template可能没有含义，但是work
Verblizer
把标签映射成标签词的过程。
本质上是如何用模型预测得到的分布，用它完成分类或者生成。
人为构造
训练新范式
应用
总结
Delta-Learning
背景与介绍
这篇关于[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning Delta-learning的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
