一周速览|极速体验 Llama3!70B 模型仅占 1.07 GB 内存、性能炸裂!

2024-04-24 00:28

本文主要是介绍一周速览|极速体验 Llama3!70B 模型仅占 1.07 GB 内存、性能炸裂!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

公共资源速递

This Weekly Snapshots !

5 个数据集:

* 老乡鸡菜品溯源报告

* Quora 文本分类研究数据集

* dmsc_v2 电影评论数据集

* 15 个动物图像分类数据集

* TriviaQA 用于阅读理解和问答的大型数据集

3 个模型:

* Llama3-8B-instruct 

* Llama3-70B

* FuseChat-7B-VaRM 

3 个教程:

* 用 Ollama 和 Open WebUI 部署 Llama3-8B

* 用 Ollama 和 Open WebUI 部署 Llama3-70B

* SUPIR-AI 图像修复教程

访问官网立即使用:openbayes.com

公共数据集

1. 老乡鸡菜品溯源报告

该数据集覆盖老乡鸡当前 1,218 家餐厅共计 226 个 SKU 、873 种原料以及 305 家供应商。老乡鸡将 677 页共 20 万字的《老乡鸡菜品溯源报告》向社会全面公开。

直接使用:

https://go.openbayes.com/DZMtq

2. Quora Duplicate Questions 文本分类研究数据集

该数据集是判别文本中的问题对是否为重复问题的数据集,主要用于文本分类研究。数据集由超过 400,000 行潜在问题重复对组成。每行包含对中每个问题的 ID、每个问题的完整文本以及指示该行是否真正包含重复对的二进制值。

直接使用:

https://go.openbayes.com/YUwdx

3.dmsc_v2 电影评论数据集

该数据集包含超 70 万用户对 28 部电影的超 200 万条评分或评论数据。适用于推荐系统、情感/观点/评论等倾向性分析的任务。

直接使用:

https://go.openbayes.com/ZloQG

4. 15 个动物图像分类数据集

该数据集包含 15 个动物的图像文件夹,所有图像大小均为 224X224,适合图像分类。图像是从网络下载的并使用 OpenCV 库进行了预处理(调整大小和增强)。

直接使用:

https://go.openbayes.com/14eum

5.TriviaQA 用于阅读理解和问答的大型数据集

该数据集是基于文本的问答数据集,其中包括从维基百科和网络收集的 662K 文档中的 950K 问答对。

直接使用:

https://go.openbayes.com/cQsMP

公共模型

1. Llama3-8B-instruct

该模型为 Meta 发布的 Llama 3 大语言模型系列的 8B 规模参数模型,可以用于在消费级 GPU 上高效部署和开发。模型的上下文长度为 8k,预训练数据的截止日期为 2023 年 3 月。

直接使用:

https://go.openbayes.com/bV75K

2. Llama3-70B

该模型为 Meta 新一代开源大模型 Llama 3 的 70B 规模参数模型,适用于大规模 AI 原生应用程序。模型的上下文长度为 8k,预训练数据的截止日期为 2023 年 12 月。

直接使用:

https://go.openbayes.com/xd6KU

3. FuseChat-7B-VaRM

FuseAI 提出了一个扩展的 FuseLLM 框架,将多个结构和尺度不同的聊天 LLM 的集体知识和个人优势融合为一个更强大的聊天 LLM,即 FuseChat。

直接使用:

https://go.openbayes.com/Nwi5x

公共教程

1. 使用 Ollama 和 Open WebUI 部署 Llama3-8B

该教程为 Ollama + Open WebUI 一键运行包,只需按步骤输入命令即可运行 Llama3-8B。

在线运行:

https://go.openbayes.com/abGbx

2. 使用 Ollama 和 Open WebUI 部署 Llama3-70B

该教程为 Ollama + Open WebUI 一键运行包,仅需按步骤输入命令即可运行 Llama3-70B。虽然模型参数较大,但经过平台部署后单卡 A6000 就能使用,仅占用 1.07 GB 存储。

在线运行:

https://go.openbayes.com/ymPcZ

3. 在线教程|张国荣、鲁迅等老照片秒变高清!即刻上手的超火 SUPIR-AI 图像修复教程

SUPIR 是一款非常强大的开源AI图像放大工具,它可以将低分辨率的图像放大到高分辨率,同时保持图像的细节和真实感。现已上线至 OpenBayes「公共教程」,该教程为大家搭建好了环境,无需任何复杂的前期准备,点击链接即可一键修复图片

在线运行:

https://go.openbayes.com/wHqCt

以上就是小贝上周在 OpenBayes 的全部更新内容啦~

此外,OpenBayes 平台还提供超过 500 个精选公共数据集、模型、教程等优质资源,并已经整合到「公共资源」模块中。OpenBayes 平台支持一键 Input,开箱即用!

https://www.bilibili.com/video/BV1MC4y1A72S/?spm_id_from=333.999.0.0&vd_source=5e54209e1f8c68b7f1dc3df8aabf856c

这篇关于一周速览|极速体验 Llama3!70B 模型仅占 1.07 GB 内存、性能炸裂!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/930288

相关文章

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现:TCMalloc与Jemalloc1. TCM

Redis过期删除机制与内存淘汰策略的解析指南

《Redis过期删除机制与内存淘汰策略的解析指南》在使用Redis构建缓存系统时,很多开发者只设置了EXPIRE但却忽略了背后Redis的过期删除机制与内存淘汰策略,下面小编就来和大家详细介绍一下... 目录1、简述2、Redis http://www.chinasem.cn的过期删除策略(Key Expir

全屋WiFi 7无死角! 华硕 RP-BE58无线信号放大器体验测评

《全屋WiFi7无死角!华硕RP-BE58无线信号放大器体验测评》家里网络总是有很多死角没有网,我决定入手一台支持Mesh组网的WiFi7路由系统以彻底解决网络覆盖问题,最终选择了一款功能非常... 自2023年WiFi 7技术标准(IEEE 802.11be)正式落地以来,这项第七代无线网络技术就以超高速

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

JVisualVM之Java性能监控与调优利器详解

《JVisualVM之Java性能监控与调优利器详解》本文将详细介绍JVisualVM的使用方法,并结合实际案例展示如何利用它进行性能调优,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全... 目录1. JVisualVM简介2. JVisualVM的安装与启动2.1 启动JVisualVM2

Java使用MethodHandle来替代反射,提高性能问题

《Java使用MethodHandle来替代反射,提高性能问题》:本文主要介绍Java使用MethodHandle来替代反射,提高性能问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录一、认识MethodHandle1、简介2、使用方式3、与反射的区别二、示例1、基本使用2、(重要)

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结

Java内存区域与内存溢出异常的详细探讨

《Java内存区域与内存溢出异常的详细探讨》:本文主要介绍Java内存区域与内存溢出异常的相关资料,分析异常原因并提供解决策略,如参数调整、代码优化等,帮助开发者排查内存问题,需要的朋友可以参考下... 目录一、引言二、Java 运行时数据区域(一)程序计数器(二)Java 虚拟机栈(三)本地方法栈(四)J

PyTorch高级特性与性能优化方式

《PyTorch高级特性与性能优化方式》:本文主要介绍PyTorch高级特性与性能优化方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、自动化机制1.自动微分机制2.动态计算图二、性能优化1.内存管理2.GPU加速3.多GPU训练三、分布式训练1.分布式数据

java变量内存中存储的使用方式

《java变量内存中存储的使用方式》:本文主要介绍java变量内存中存储的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍2、变量的定义3、 变量的类型4、 变量的作用域5、 内存中的存储方式总结1、介绍在 Java 中,变量是用于存储程序中数据