如何入门 GPT 并快速跟上当前的大语言模型 LLM 进展?

2023-12-21 10:52

本文主要是介绍如何入门 GPT 并快速跟上当前的大语言模型 LLM 进展?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

入门GPT

首先说第一个问题:如何入门GPT模型?

最直接的方式当然是去阅读官方的论文。GPT模型从2018年的GPT-1到现在的GPT-4已经迭代了好几个版本,通过官方团队发表的论文是最能准确理清其发展脉络的途径,其中包括GPT模型本身和一些介绍关键技术的文章,比如训练方法RLHF这些。下面列出一些主要的文章。

第一手资料:论文

  • GPT-1:language_understanding_paper.pdf (openai.com)
  • GPT-2:language_models_are_unsupervised_multitask_learners.pdf (openai.com)
  • GPT-3:Language Models are Few-Shot Learners (arxiv.org)
  • GPT-4:GPT-4 Technical Report(openai.com)
  • RLHF:Augmenting Reinforcement Learning with Human Feedback
  • InstructGPT:Training language models to follow instructions with human feedback


 

技术解读

考虑到不是每个人都有足够的基础来阅读这些专业的论文,我也推荐一些做技术解读的博客和视频,这些技术解读通过比较通俗的方式梳理这些技术和模型的发展,对于新手来说,是比较不错的学习资源。

比如下面这张被很多人引用的图片,就是来自于这篇博文:拆解追溯 GPT-3.5 各项能力的起源 

还有一些视频解读,可以看看李沐老师和李宏毅老师的,专门有对GPT系列技术的讲解。

跟踪进展

关于第二个问题:如何快速跟上大语言模型的进展?

这方面的网络资源简直太多了,有很多人整理、跟踪这些最新技术进展,这些资源大多数在网络上都能找到。

1、一般来说,跟踪最新的论文成果,可以通过arXiv,或paper digest这样的网站,比如Paper Digest上有一个更新最新的ChatGPT相关的paper的项目:Paper Digest: Recent Papers on ChatGPT – Paper Digest

2、还有一个重要的资源聚集的网站就是GitHub。

秉承着“授人以鱼不如授人以渔”的思想,这里告诉大家一个技巧,凡是你感兴趣的东西,不管什么领域,到GitHub上去搜关键词“awesome xxx”,你都能发现很多非常有用的资源和学习资料。

比如搜“awesome chatgpt”,搜到的项目都是整理各种chatGPT相关的资料的,这些项目多则大几万的stars,少则也有几千。

这些项目里面有各种各样的资源汇总,比如详尽的学习资料、paper list、行业的发展动态、各公司的产品、开源项目、开发工具、技术解读的博文列表等等。只有你想不到的,没有他们不总结的,要不然怎么能叫curated list呢。

  • 大语言模型资源聚合:Awesome-LLM。

3、关于大语言模型,还有一个项目,主要是跟进各大AI公司或研究团队的进展,重点比较这些模型的参数和对应产品的特性。(之前还专门有一个表格总结中国的语言模型,最近不知为什么被删除了。)

图中有链接

给你们推荐个国内的地址 https://gpt.91chat-ai.cn?share=csdn,这还是非常方便的。感兴趣的可以关注一下 ↓ ↓ ↓

2023超🔥的AI大模型公开课👉大模型资料包免费领!,找客服免费领取

专业书籍

最后,如果你有更远大的抱负,或者想在这方面做更深入的研究,那我建议还是要夯实自己的专业基础。这种就没有太多的捷径可以走了,只能慢慢的去啃一些专业书籍,包括机器学习、统计学以及深度学习这些方面的。

像是比较经典的有《统计学习方法》、《Pattern Recognition and Machine Learning》、《 Deep Learning: Adaptive Computation and Machine Learning series》(深度学习)、以及《Dive into deep learning》(深度学习实战)等。

再附上一些我的深度学习方面的电子书单,大家可以参考一下:

除了上面提到这几本比较经典的之外,现在人工智能、深度学习方面的特定领域的书籍也有很多,不像我当年刚学的那会,当时深度学习刚刚爆发式发展,几乎没有这方面书籍完整而又系统的介绍人工智能某一领域(比如自然语言处理、计算机视觉等等)的专业知识,特别是中文的资料少之又少,大多数是一些零零散散的博客,而想要深入的学习和了解专业领域的进展,只能自己读第一手paper、看英文资料,啃起来很费劲。不像现在有这么多系统的专业书籍。

比如最近看了一本《深度强化学习图解》,由清华大学出版社出版的。这本书的主要内容关于深度强化学习(Deep Reinforcement Learning,DRL),但又不是单独介绍DL。也非常适合对人工智能、深度学习算法(包括自然语言大模型、计算机视觉领域等)感兴趣的同学阅读。

书的内容大致可以分三个部分:强化学习的入门、行为与人类似的DRL智能体和在复杂情况下应用DRL。整体看下来,这本书内容很权威,也非常实用。当然,还有最重要的一大亮点就是易学。通过生动的图解和趣味性的文字,深入浅出地讲解了深度强化学习理论。同时有大量配套的python代码,配合实际案例和应用,指导读者在实践中学习,从而逐渐深化对深度强化学习的理解,将新的方法、理论和思想融入到自己的研究中。

LLM 不是人工智能的起点,也不会是人工智能的终点,更符合人类行为能力的 AGI 才是所有 AI 从业者和爱好者最乐于看到和期待的。虽然 AGI 到目前为止还是一个相对模糊的概念,也没有人能确切的知道它将在何时出现。但是大模型的发展和它们所表现出来的能力已经让我们看到了 AGI 的影子,它或许就隐藏在这些大模型的背后,偶尔向我们闪现,预示着它终将到来。

以上。如有帮助,希望点个赞支持一下。

对了,给你们推荐个国内的地址 https://gpt.91chat-ai.cn?share=csdn

这篇关于如何入门 GPT 并快速跟上当前的大语言模型 LLM 进展?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/519710

相关文章

Go语言中make和new的区别及说明

《Go语言中make和new的区别及说明》:本文主要介绍Go语言中make和new的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1 概述2 new 函数2.1 功能2.2 语法2.3 初始化案例3 make 函数3.1 功能3.2 语法3.3 初始化

从入门到精通MySQL联合查询

《从入门到精通MySQL联合查询》:本文主要介绍从入门到精通MySQL联合查询,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下... 目录摘要1. 多表联合查询时mysql内部原理2. 内连接3. 外连接4. 自连接5. 子查询6. 合并查询7. 插入查询结果摘要前面我们学习了数据库设计时要满

从入门到精通C++11 <chrono> 库特性

《从入门到精通C++11<chrono>库特性》chrono库是C++11中一个非常强大和实用的库,它为时间处理提供了丰富的功能和类型安全的接口,通过本文的介绍,我们了解了chrono库的基本概念... 目录一、引言1.1 为什么需要<chrono>库1.2<chrono>库的基本概念二、时间段(Durat

Go语言中nil判断的注意事项(最新推荐)

《Go语言中nil判断的注意事项(最新推荐)》本文给大家介绍Go语言中nil判断的注意事项,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.接口变量的特殊行为2.nil的合法类型3.nil值的实用行为4.自定义类型与nil5.反射判断nil6.函数返回的

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

解析C++11 static_assert及与Boost库的关联从入门到精通

《解析C++11static_assert及与Boost库的关联从入门到精通》static_assert是C++中强大的编译时验证工具,它能够在编译阶段拦截不符合预期的类型或值,增强代码的健壮性,通... 目录一、背景知识:传统断言方法的局限性1.1 assert宏1.2 #error指令1.3 第三方解决

Linux如何快速检查服务器的硬件配置和性能指标

《Linux如何快速检查服务器的硬件配置和性能指标》在运维和开发工作中,我们经常需要快速检查Linux服务器的硬件配置和性能指标,本文将以CentOS为例,介绍如何通过命令行快速获取这些关键信息,... 目录引言一、查询CPU核心数编程(几C?)1. 使用 nproc(最简单)2. 使用 lscpu(详细信

Go语言代码格式化的技巧分享

《Go语言代码格式化的技巧分享》在Go语言的开发过程中,代码格式化是一个看似细微却至关重要的环节,良好的代码格式化不仅能提升代码的可读性,还能促进团队协作,减少因代码风格差异引发的问题,Go在代码格式... 目录一、Go 语言代码格式化的重要性二、Go 语言代码格式化工具:gofmt 与 go fmt(一)

从入门到精通MySQL 数据库索引(实战案例)

《从入门到精通MySQL数据库索引(实战案例)》索引是数据库的目录,提升查询速度,主要类型包括BTree、Hash、全文、空间索引,需根据场景选择,建议用于高频查询、关联字段、排序等,避免重复率高或... 目录一、索引是什么?能干嘛?核心作用:二、索引的 4 种主要类型(附通俗例子)1. BTree 索引(

Redis 配置文件使用建议redis.conf 从入门到实战

《Redis配置文件使用建议redis.conf从入门到实战》Redis配置方式包括配置文件、命令行参数、运行时CONFIG命令,支持动态修改参数及持久化,常用项涉及端口、绑定、内存策略等,版本8... 目录一、Redis.conf 是什么?二、命令行方式传参(适用于测试)三、运行时动态修改配置(不重启服务