如何入门 GPT 并快速跟上当前的大语言模型 LLM 进展?

2023-12-21 10:52

本文主要是介绍如何入门 GPT 并快速跟上当前的大语言模型 LLM 进展?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

入门GPT

首先说第一个问题:如何入门GPT模型?

最直接的方式当然是去阅读官方的论文。GPT模型从2018年的GPT-1到现在的GPT-4已经迭代了好几个版本,通过官方团队发表的论文是最能准确理清其发展脉络的途径,其中包括GPT模型本身和一些介绍关键技术的文章,比如训练方法RLHF这些。下面列出一些主要的文章。

第一手资料:论文

  • GPT-1:language_understanding_paper.pdf (openai.com)
  • GPT-2:language_models_are_unsupervised_multitask_learners.pdf (openai.com)
  • GPT-3:Language Models are Few-Shot Learners (arxiv.org)
  • GPT-4:GPT-4 Technical Report(openai.com)
  • RLHF:Augmenting Reinforcement Learning with Human Feedback
  • InstructGPT:Training language models to follow instructions with human feedback


 

技术解读

考虑到不是每个人都有足够的基础来阅读这些专业的论文,我也推荐一些做技术解读的博客和视频,这些技术解读通过比较通俗的方式梳理这些技术和模型的发展,对于新手来说,是比较不错的学习资源。

比如下面这张被很多人引用的图片,就是来自于这篇博文:拆解追溯 GPT-3.5 各项能力的起源 

还有一些视频解读,可以看看李沐老师和李宏毅老师的,专门有对GPT系列技术的讲解。

跟踪进展

关于第二个问题:如何快速跟上大语言模型的进展?

这方面的网络资源简直太多了,有很多人整理、跟踪这些最新技术进展,这些资源大多数在网络上都能找到。

1、一般来说,跟踪最新的论文成果,可以通过arXiv,或paper digest这样的网站,比如Paper Digest上有一个更新最新的ChatGPT相关的paper的项目:Paper Digest: Recent Papers on ChatGPT – Paper Digest

2、还有一个重要的资源聚集的网站就是GitHub。

秉承着“授人以鱼不如授人以渔”的思想,这里告诉大家一个技巧,凡是你感兴趣的东西,不管什么领域,到GitHub上去搜关键词“awesome xxx”,你都能发现很多非常有用的资源和学习资料。

比如搜“awesome chatgpt”,搜到的项目都是整理各种chatGPT相关的资料的,这些项目多则大几万的stars,少则也有几千。

这些项目里面有各种各样的资源汇总,比如详尽的学习资料、paper list、行业的发展动态、各公司的产品、开源项目、开发工具、技术解读的博文列表等等。只有你想不到的,没有他们不总结的,要不然怎么能叫curated list呢。

  • 大语言模型资源聚合:Awesome-LLM。

3、关于大语言模型,还有一个项目,主要是跟进各大AI公司或研究团队的进展,重点比较这些模型的参数和对应产品的特性。(之前还专门有一个表格总结中国的语言模型,最近不知为什么被删除了。)

图中有链接

给你们推荐个国内的地址 https://gpt.91chat-ai.cn?share=csdn,这还是非常方便的。感兴趣的可以关注一下 ↓ ↓ ↓

2023超🔥的AI大模型公开课👉大模型资料包免费领!,找客服免费领取

专业书籍

最后,如果你有更远大的抱负,或者想在这方面做更深入的研究,那我建议还是要夯实自己的专业基础。这种就没有太多的捷径可以走了,只能慢慢的去啃一些专业书籍,包括机器学习、统计学以及深度学习这些方面的。

像是比较经典的有《统计学习方法》、《Pattern Recognition and Machine Learning》、《 Deep Learning: Adaptive Computation and Machine Learning series》(深度学习)、以及《Dive into deep learning》(深度学习实战)等。

再附上一些我的深度学习方面的电子书单,大家可以参考一下:

除了上面提到这几本比较经典的之外,现在人工智能、深度学习方面的特定领域的书籍也有很多,不像我当年刚学的那会,当时深度学习刚刚爆发式发展,几乎没有这方面书籍完整而又系统的介绍人工智能某一领域(比如自然语言处理、计算机视觉等等)的专业知识,特别是中文的资料少之又少,大多数是一些零零散散的博客,而想要深入的学习和了解专业领域的进展,只能自己读第一手paper、看英文资料,啃起来很费劲。不像现在有这么多系统的专业书籍。

比如最近看了一本《深度强化学习图解》,由清华大学出版社出版的。这本书的主要内容关于深度强化学习(Deep Reinforcement Learning,DRL),但又不是单独介绍DL。也非常适合对人工智能、深度学习算法(包括自然语言大模型、计算机视觉领域等)感兴趣的同学阅读。

书的内容大致可以分三个部分:强化学习的入门、行为与人类似的DRL智能体和在复杂情况下应用DRL。整体看下来,这本书内容很权威,也非常实用。当然,还有最重要的一大亮点就是易学。通过生动的图解和趣味性的文字,深入浅出地讲解了深度强化学习理论。同时有大量配套的python代码,配合实际案例和应用,指导读者在实践中学习,从而逐渐深化对深度强化学习的理解,将新的方法、理论和思想融入到自己的研究中。

LLM 不是人工智能的起点,也不会是人工智能的终点,更符合人类行为能力的 AGI 才是所有 AI 从业者和爱好者最乐于看到和期待的。虽然 AGI 到目前为止还是一个相对模糊的概念,也没有人能确切的知道它将在何时出现。但是大模型的发展和它们所表现出来的能力已经让我们看到了 AGI 的影子,它或许就隐藏在这些大模型的背后,偶尔向我们闪现,预示着它终将到来。

以上。如有帮助,希望点个赞支持一下。

对了,给你们推荐个国内的地址 https://gpt.91chat-ai.cn?share=csdn

这篇关于如何入门 GPT 并快速跟上当前的大语言模型 LLM 进展?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/519710

相关文章

从入门到精通详解Python虚拟环境完全指南

《从入门到精通详解Python虚拟环境完全指南》Python虚拟环境是一个独立的Python运行环境,它允许你为不同的项目创建隔离的Python环境,下面小编就来和大家详细介绍一下吧... 目录什么是python虚拟环境一、使用venv创建和管理虚拟环境1.1 创建虚拟环境1.2 激活虚拟环境1.3 验证虚

GO语言短变量声明的实现示例

《GO语言短变量声明的实现示例》在Go语言中,短变量声明是一种简洁的变量声明方式,使用:=运算符,可以自动推断变量类型,下面就来具体介绍一下如何使用,感兴趣的可以了解一下... 目录基本语法功能特点与var的区别适用场景注意事项基本语法variableName := value功能特点1、自动类型推

GO语言中函数命名返回值的使用

《GO语言中函数命名返回值的使用》在Go语言中,函数可以为其返回值指定名称,这被称为命名返回值或命名返回参数,这种特性可以使代码更清晰,特别是在返回多个值时,感兴趣的可以了解一下... 目录基本语法函数命名返回特点代码示例命名特点基本语法func functionName(parameters) (nam

Python多线程实现大文件快速下载的代码实现

《Python多线程实现大文件快速下载的代码实现》在互联网时代,文件下载是日常操作之一,尤其是大文件,然而,网络条件不稳定或带宽有限时,下载速度会变得很慢,本文将介绍如何使用Python实现多线程下载... 目录引言一、多线程下载原理二、python实现多线程下载代码说明:三、实战案例四、注意事项五、总结引

Go语言连接MySQL数据库执行基本的增删改查

《Go语言连接MySQL数据库执行基本的增删改查》在后端开发中,MySQL是最常用的关系型数据库之一,本文主要为大家详细介绍了如何使用Go连接MySQL数据库并执行基本的增删改查吧... 目录Go语言连接mysql数据库准备工作安装 MySQL 驱动代码实现运行结果注意事项Go语言执行基本的增删改查准备工作

C#使用Spire.XLS快速生成多表格Excel文件

《C#使用Spire.XLS快速生成多表格Excel文件》在日常开发中,我们经常需要将业务数据导出为结构清晰的Excel文件,本文将手把手教你使用Spire.XLS这个强大的.NET组件,只需几行C#... 目录一、Spire.XLS核心优势清单1.1 性能碾压:从3秒到0.5秒的质变1.2 批量操作的优雅

Java List 使用举例(从入门到精通)

《JavaList使用举例(从入门到精通)》本文系统讲解JavaList,涵盖基础概念、核心特性、常用实现(如ArrayList、LinkedList)及性能对比,介绍创建、操作、遍历方法,结合实... 目录一、List 基础概念1.1 什么是 List?1.2 List 的核心特性1.3 List 家族成

Go语言使用Gin处理路由参数和查询参数

《Go语言使用Gin处理路由参数和查询参数》在WebAPI开发中,处理路由参数(PathParameter)和查询参数(QueryParameter)是非常常见的需求,下面我们就来看看Go语言... 目录一、路由参数 vs 查询参数二、Gin 获取路由参数和查询参数三、示例代码四、运行与测试1. 测试编程路

Go语言使用net/http构建一个RESTful API的示例代码

《Go语言使用net/http构建一个RESTfulAPI的示例代码》Go的标准库net/http提供了构建Web服务所需的强大功能,虽然众多第三方框架(如Gin、Echo)已经封装了很多功能,但... 目录引言一、什么是 RESTful API?二、实战目标:用户信息管理 API三、代码实现1. 用户数据

Mybatis-Plus 3.5.12 分页拦截器消失的问题及快速解决方法

《Mybatis-Plus3.5.12分页拦截器消失的问题及快速解决方法》作为Java开发者,我们都爱用Mybatis-Plus简化CRUD操作,尤其是它的分页功能,几行代码就能搞定复杂的分页查询... 目录一、问题场景:分页拦截器突然 “失踪”二、问题根源:依赖拆分惹的祸三、解决办法:添加扩展依赖四、分页