本文主要是介绍人工智能_大模型011_CPU微调_训练_显卡的选型讲解_价格表_011---人工智能工作笔记0146，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
既然CPU训练大模型无法实现那么就只能购置GPU显卡来进行训练了,来看看如何选型显卡.
之前是没有GPU的,由于游戏行业对画质的需求,催生出了GPU,GPU优势是支持并行计算,可以几千个小核心同时计算,但是有个问题,如何把一个我们需要计算的问题,拆解成1000个或更多小问题,让GPU并行计算呢?
2006年就研发出CUDA平台,CUDA平台允许,一个问题被拆解成很多小问题这样就可以用GPU并行计算.
可以看到几乎百分之90的大模型,都需要使用GPU进行训练
这里模型的精度是,参数量化后的值,单精度就是32位,半精度是16位,16位半精度计算需要GPU支持,
然后这里的FLOAT32是标准的推理和训练格式,这里的INT8表示保留量化后的32位中的后8位,或者后4位,后16位.
需要根据需求选择显卡,如果仅仅是回答问题,不进行训练和微调,只用推理的话,就单精度最大用到20G显存.
可以看到这里,如果我们个人用的话还是以消费级显卡为主,因为,超算级别的太
这篇关于人工智能_大模型011_CPU微调_训练_显卡的选型讲解_价格表_011---人工智能工作笔记0146的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
