本文主要是介绍动手学大模型应用开发--Chapter 02 提示词工程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
文章目录
- 前言
- 一、学习目标
- 二、学习知识点概要
- 1.1 Prompting
- 1.2 Prompting tuning
- 1.3 Prompting Learning
- 1.3.1 定义
- 1.3.2 运作原理
- 三、总结
- 四、引申阅读
前言
本学习笔记为datawhale动手学大模型应用开发的第二章，学习链接为：
https://datawhalechina.github.io/llm-universe/
一、学习目标
理解提示词工程相关的概念，包括Prompting、Prompting tuning、Prompting Learning等相关的概念。
二、学习知识点概要
1.1 Prompting
Prompting指的是给语言模型一段特定的文本（即提示词），从而引导模型生成特定的输出文本（Completion）。其实类似于在ChatGPT的打字过程。
1.2 Prompting tuning
Prompting tuning（提示微调）是自动化生成“软提示”的一种方法。是微调的一种特殊形式，会改变模型的权重参数，但是比fine-tuning参数高效很多。
1.3 Prompting Learning
1.3.1 定义
**提示学习（Prompt Learning）**是一个非常General的术语，可以理解为涉及到提示词的机器学习范式都算是提示学习。简单来说是通过一些方法编辑下游任务的输入，使其形式上模拟模型预训练过程使用的数据与任务。比如做情感分类任务时，监督学习的做法是输入“我今天考砸了”，模型输出分类的分数或分布，而提示学习的做法则是在“我今天考砸了”后拼接上自然语言描述“我感觉很＿”，让模型生成后面的内容，再根据某种映射函数，将生成内容匹配到某一分类标签。
1.3.2 运作原理
传统的预训练＋微调：预训练完后，利用有标签的下游数据集对模型做微调，这需要改变模型的权重与偏置参数。而后，基于下游任务输入x，模型预测输出y：P（y｜x）。
新范式预训练＋Prompt＋Predict：基于输入x，根据模版（Template）将其转为特定的结构化提示x1，x1是一个具有一定格式但是不完整的句子，有一些字段还没有被填充。对于x1，模型会基于概率对其进行填充，得到完整的输入x2。.基于这个x2，模型再预测输出y。
三、总结
若让语言模型描述一个不存在的产品,它可能会自行构造出似是而非的细节。这被称为“幻觉” (Hallucination)，捏造出的回答找不到相应的出处，或者给出了错误的参考链接，这是语言模型的一大缺陷。
四、引申阅读
五万字综述！Prompt-Tuning：深度解读一种新的微调范式https://zhuanlan.zhihu.com/p/618871247
这篇关于动手学大模型应用开发--Chapter 02 提示词工程的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
