本文主要是介绍6种免费使用Llama3 70B的方法及英伟达提供的免费API接口调用！，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
作者：Aitrainee | AI进修生
排版太难了，请点击这里查看原文：6种免费使用Llama3 70B的方法及英伟达提供的免费API接口调用！
Llama3 70B简介
Llama 3的发布引起了行业内的轩然大波。不久前，很多人还认为“闭源模型通常优于开源模型”。然而，最新的大型语言模型排行榜已经清楚地向公众展示了这一新趋势。Meta的CEO马克·扎克伯格宣布，基于Llama 3模型的AI助手已经扩展至Instagram、WhatsApp、Facebook等所有主要应用，并且还特别推出了一个独立网站。与此同时，AWS、微软Azure、谷歌云和百度智能云等主要平台也已经宣布开始支持Llama 3的训练、部署和推理操作。
Llama 3 70B的性能已经达到甚至超过了去年的Claude 3 Sonnet和Gemini 1.5 Pro，甚至比去年推出的GPT-4型号还要强。但真正引人注目的是它的价格。现在，无论是8B还是70B版本的Llama 3，都支持本地部署。虽然部署70B版本可能需要用到量化版本，且对显存有一定的要求，但这已经让很多用户感到非常幸福了，毕竟之前在本地运行一个像GPT-4那样的模型对许多人来说是难以实现的梦想。我还找到了一个大语言模型性价比排行榜，你不妨去看看。
虽然模型的性能排在第六位，但你一看价格就会知道它的优势所在：
Llama 3在常见基准测试中优于许多现有的开源聊天模型，比如Gemma 7B和Mistral 7B。
在线体验Llama 3
- 访问英伟达的模型体验地址，可以直接选择70B（700亿参数版本）和8B（80亿参数版本）进行对话体验。
- 使用Hugging Face的chat，选择llama3-70B。
llama2.ai
llama2.ai - Llama3官方地址入口（Facebook登录）
本地体验Llama 3
LMStudio
CodeGPT
使用CodeGPT，记得先使用Ollama拉取相应的模型。比如，拉取llama3:8b模型：ollama pull llama3:8b。如果你本地尚未安装ollama，可以阅读 “部署本地的大语言模型，只需几分钟！” 这篇文章。
Ollama
运行Llama 3 8B模型：
ollama run llama3
运行Llama 3 70B模型：
ollama run llama3:70b
Open WebUI & Ollama
具体使用可以参考这篇文章。
如何代码免费调用API
代码示例
from openai import OpenAIclient = OpenAI( base_url = "https://integrate.api.nvidia.com/v1", api_key = "xxxxxxxxx")completion = client.chat.completions.create( model="meta/llama3-70b", messages=[{"role":"user","content":"你提问的问题"}], temperature=0.5, top_p=1, max_tokens=1024, stream=True)for chunk in completion: if chunk.choices[0].delta.content is not None: print(chunk.choices[0].delta.content, end="")
如何获取API KEY
点击 Get API KEY注册英伟达账号，邮箱验证后就可以获取到，非常快，没有手机号验证，比注册ChatGPT简单多了。
付费的：
Open Router
利用Nvidia配合AI Agent使用
附：本文资源一键打开地址：点击这里。
这篇关于6种免费使用Llama3 70B的方法及英伟达提供的免费API接口调用！的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
