本文主要是介绍【深度学习】基于Transformers的大模型推理框架，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
本文旨在介绍基于transformers的decoder-only语言模型的推理框架。与开源推理框架不同的是：
- 本框架没有利用额外的开源推理仓库，仅基于huggingface，transformers，pytorch等原生工具进行推理，适合新手学习大模型推理流程。
- 支持batch推理
- 支持获得各种中间层状态，概率值，生成token等
- 支持选择题形式QA和free-form形式QA任务
代码仓库：github仓库地址
如果你觉得有用，请点一个star。欢迎任何形式的交流
这篇关于【深度学习】基于Transformers的大模型推理框架的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
