动手学大模型应用开发--Chapter 02 提示词工程

2024-04-21 12:12

本文主要是介绍动手学大模型应用开发--Chapter 02 提示词工程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 前言
  • 一、学习目标
  • 二、学习知识点概要
    • 1.1 Prompting
    • 1.2 Prompting tuning
    • 1.3 Prompting Learning
      • 1.3.1 定义
      • 1.3.2 运作原理
  • 三、总结
  • 四、引申阅读


前言

本学习笔记为datawhale动手学大模型应用开发的第二章,学习链接为:
https://datawhalechina.github.io/llm-universe/

一、学习目标

理解提示词工程相关的概念,包括Prompting、Prompting tuning、Prompting Learning等相关的概念。

二、学习知识点概要

1.1 Prompting

Prompting指的是给语言模型一段特定的文本(即提示词),从而引导模型生成特定的输出文本(Completion)。其实类似于在ChatGPT的打字过程。

1.2 Prompting tuning

Prompting tuning(提示微调)是自动化生成“软提示”的一种方法。是微调的一种特殊形式,会改变模型的权重参数,但是比fine-tuning参数高效很多。

1.3 Prompting Learning

1.3.1 定义

**提示学习(Prompt Learning)**是一个非常General的术语,可以理解为涉及到提示词的机器学习范式都算是提示学习。简单来说是通过一些方法编辑下游任务的输入,使其形式上模拟模型预训练过程使用的数据与任务。比如做情感分类任务时,监督学习的做法是输入“我今天考砸了”,模型输出分类的分数或分布,而提示学习的做法则是在“我今天考砸了”后拼接上自然语言描述“我感觉很_”,让模型生成后面的内容,再根据某种映射函数,将生成内容匹配到某一分类标签。

1.3.2 运作原理

传统的预训练+微调:预训练完后,利用有标签的下游数据集对模型做微调,这需要改变模型的权重与偏置参数。而后,基于下游任务输入x,模型预测输出y:P(y|x)。
新范式预训练+Prompt+Predict:基于输入x,根据模版(Template)将其转为特定的结构化提示x1,x1是一个具有一定格式但是不完整的句子,有一些字段还没有被填充。对于x1,模型会基于概率对其进行填充,得到完整的输入x2。.基于这个x2,模型再预测输出y。

三、总结

若让语言模型描述一个不存在的产品,它可能会自行构造出似是而非的细节。这被称为“幻觉” (Hallucination),捏造出的回答找不到相应的出处,或者给出了错误的参考链接,这是语言模型的一大缺陷。

四、引申阅读

五万字综述!Prompt-Tuning:深度解读一种新的微调范式https://zhuanlan.zhihu.com/p/618871247

这篇关于动手学大模型应用开发--Chapter 02 提示词工程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/923054

相关文章

一文详解Python如何开发游戏

《一文详解Python如何开发游戏》Python是一种非常流行的编程语言,也可以用来开发游戏模组,:本文主要介绍Python如何开发游戏的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录一、python简介二、Python 开发 2D 游戏的优劣势优势缺点三、Python 开发 3D

基于Python开发Windows自动更新控制工具

《基于Python开发Windows自动更新控制工具》在当今数字化时代,操作系统更新已成为计算机维护的重要组成部分,本文介绍一款基于Python和PyQt5的Windows自动更新控制工具,有需要的可... 目录设计原理与技术实现系统架构概述数学建模工具界面完整代码实现技术深度分析多层级控制理论服务层控制注

利用Python操作Word文档页码的实际应用

《利用Python操作Word文档页码的实际应用》在撰写长篇文档时,经常需要将文档分成多个节,每个节都需要单独的页码,下面:本文主要介绍利用Python操作Word文档页码的相关资料,文中通过代码... 目录需求:文档详情:要求:该程序的功能是:总结需求:一次性处理24个文档的页码。文档详情:1、每个

Java中的分布式系统开发基于 Zookeeper 与 Dubbo 的应用案例解析

《Java中的分布式系统开发基于Zookeeper与Dubbo的应用案例解析》本文将通过实际案例,带你走进基于Zookeeper与Dubbo的分布式系统开发,本文通过实例代码给大家介绍的非常详... 目录Java 中的分布式系统开发基于 Zookeeper 与 Dubbo 的应用案例一、分布式系统中的挑战二

Java 缓存框架 Caffeine 应用场景解析

《Java缓存框架Caffeine应用场景解析》文章介绍Caffeine作为高性能Java本地缓存框架,基于W-TinyLFU算法,支持异步加载、灵活过期策略、内存安全机制及统计监控,重点解析其... 目录一、Caffeine 简介1. 框架概述1.1 Caffeine的核心优势二、Caffeine 基础2

使用Node.js和PostgreSQL构建数据库应用

《使用Node.js和PostgreSQL构建数据库应用》PostgreSQL是一个功能强大的开源关系型数据库,而Node.js是构建高效网络应用的理想平台,结合这两个技术,我们可以创建出色的数据驱动... 目录初始化项目与安装依赖建立数据库连接执行CRUD操作查询数据插入数据更新数据删除数据完整示例与最佳

Linux五种IO模型的使用解读

《Linux五种IO模型的使用解读》文章系统解析了Linux的五种IO模型(阻塞、非阻塞、IO复用、信号驱动、异步),重点区分同步与异步IO的本质差异,强调同步由用户发起,异步由内核触发,通过对比各模... 目录1.IO模型简介2.五种IO模型2.1 IO模型分析方法2.2 阻塞IO2.3 非阻塞IO2.4

基于Go语言开发一个 IP 归属地查询接口工具

《基于Go语言开发一个IP归属地查询接口工具》在日常开发中,IP地址归属地查询是一个常见需求,本文将带大家使用Go语言快速开发一个IP归属地查询接口服务,有需要的小伙伴可以了解下... 目录功能目标技术栈项目结构核心代码(main.go)使用方法扩展功能总结在日常开发中,IP 地址归属地查询是一个常见需求:

基于 Cursor 开发 Spring Boot 项目详细攻略

《基于Cursor开发SpringBoot项目详细攻略》Cursor是集成GPT4、Claude3.5等LLM的VSCode类AI编程工具,支持SpringBoot项目开发全流程,涵盖环境配... 目录cursor是什么?基于 Cursor 开发 Spring Boot 项目完整指南1. 环境准备2. 创建

PHP应用中处理限流和API节流的最佳实践

《PHP应用中处理限流和API节流的最佳实践》限流和API节流对于确保Web应用程序的可靠性、安全性和可扩展性至关重要,本文将详细介绍PHP应用中处理限流和API节流的最佳实践,下面就来和小编一起学习... 目录限流的重要性在 php 中实施限流的最佳实践使用集中式存储进行状态管理(如 Redis)采用滑动