本文主要是介绍第十一节 LLAVA模型lora训练(包含lora权重预加载与源码解读)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
文章目录
- 前言
- 一、语言模型加载
- 1、语言模型加载
- 2、语言模型训练处理
- a、embeding处理
- b、语言模型lora训练处理
- lora参数配置
- peft配置语言模型lora参数
- c、语言模型tokenizer加载
- 加载tokenizer
- 设置对话开头语句
- 二、视觉模型加载
- 1、加载图像模型主函数源码解读
- 2、initialize_vision_modules函数源码解读
这篇关于第十一节 LLAVA模型lora训练(包含lora权重预加载与源码解读)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
