一周速览|极速体验 Llama3!70B 模型仅占 1.07 GB 内存、性能炸裂!

2024-04-24 00:28

本文主要是介绍一周速览|极速体验 Llama3!70B 模型仅占 1.07 GB 内存、性能炸裂!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

公共资源速递

This Weekly Snapshots !

5 个数据集:

* 老乡鸡菜品溯源报告

* Quora 文本分类研究数据集

* dmsc_v2 电影评论数据集

* 15 个动物图像分类数据集

* TriviaQA 用于阅读理解和问答的大型数据集

3 个模型:

* Llama3-8B-instruct 

* Llama3-70B

* FuseChat-7B-VaRM 

3 个教程:

* 用 Ollama 和 Open WebUI 部署 Llama3-8B

* 用 Ollama 和 Open WebUI 部署 Llama3-70B

* SUPIR-AI 图像修复教程

访问官网立即使用:openbayes.com

公共数据集

1. 老乡鸡菜品溯源报告

该数据集覆盖老乡鸡当前 1,218 家餐厅共计 226 个 SKU 、873 种原料以及 305 家供应商。老乡鸡将 677 页共 20 万字的《老乡鸡菜品溯源报告》向社会全面公开。

直接使用:

https://go.openbayes.com/DZMtq

2. Quora Duplicate Questions 文本分类研究数据集

该数据集是判别文本中的问题对是否为重复问题的数据集,主要用于文本分类研究。数据集由超过 400,000 行潜在问题重复对组成。每行包含对中每个问题的 ID、每个问题的完整文本以及指示该行是否真正包含重复对的二进制值。

直接使用:

https://go.openbayes.com/YUwdx

3.dmsc_v2 电影评论数据集

该数据集包含超 70 万用户对 28 部电影的超 200 万条评分或评论数据。适用于推荐系统、情感/观点/评论等倾向性分析的任务。

直接使用:

https://go.openbayes.com/ZloQG

4. 15 个动物图像分类数据集

该数据集包含 15 个动物的图像文件夹,所有图像大小均为 224X224,适合图像分类。图像是从网络下载的并使用 OpenCV 库进行了预处理(调整大小和增强)。

直接使用:

https://go.openbayes.com/14eum

5.TriviaQA 用于阅读理解和问答的大型数据集

该数据集是基于文本的问答数据集,其中包括从维基百科和网络收集的 662K 文档中的 950K 问答对。

直接使用:

https://go.openbayes.com/cQsMP

公共模型

1. Llama3-8B-instruct

该模型为 Meta 发布的 Llama 3 大语言模型系列的 8B 规模参数模型,可以用于在消费级 GPU 上高效部署和开发。模型的上下文长度为 8k,预训练数据的截止日期为 2023 年 3 月。

直接使用:

https://go.openbayes.com/bV75K

2. Llama3-70B

该模型为 Meta 新一代开源大模型 Llama 3 的 70B 规模参数模型,适用于大规模 AI 原生应用程序。模型的上下文长度为 8k,预训练数据的截止日期为 2023 年 12 月。

直接使用:

https://go.openbayes.com/xd6KU

3. FuseChat-7B-VaRM

FuseAI 提出了一个扩展的 FuseLLM 框架,将多个结构和尺度不同的聊天 LLM 的集体知识和个人优势融合为一个更强大的聊天 LLM,即 FuseChat。

直接使用:

https://go.openbayes.com/Nwi5x

公共教程

1. 使用 Ollama 和 Open WebUI 部署 Llama3-8B

该教程为 Ollama + Open WebUI 一键运行包,只需按步骤输入命令即可运行 Llama3-8B。

在线运行:

https://go.openbayes.com/abGbx

2. 使用 Ollama 和 Open WebUI 部署 Llama3-70B

该教程为 Ollama + Open WebUI 一键运行包,仅需按步骤输入命令即可运行 Llama3-70B。虽然模型参数较大,但经过平台部署后单卡 A6000 就能使用,仅占用 1.07 GB 存储。

在线运行:

https://go.openbayes.com/ymPcZ

3. 在线教程|张国荣、鲁迅等老照片秒变高清!即刻上手的超火 SUPIR-AI 图像修复教程

SUPIR 是一款非常强大的开源AI图像放大工具,它可以将低分辨率的图像放大到高分辨率,同时保持图像的细节和真实感。现已上线至 OpenBayes「公共教程」,该教程为大家搭建好了环境,无需任何复杂的前期准备,点击链接即可一键修复图片

在线运行:

https://go.openbayes.com/wHqCt

以上就是小贝上周在 OpenBayes 的全部更新内容啦~

此外,OpenBayes 平台还提供超过 500 个精选公共数据集、模型、教程等优质资源,并已经整合到「公共资源」模块中。OpenBayes 平台支持一键 Input,开箱即用!

https://www.bilibili.com/video/BV1MC4y1A72S/?spm_id_from=333.999.0.0&vd_source=5e54209e1f8c68b7f1dc3df8aabf856c

这篇关于一周速览|极速体验 Llama3!70B 模型仅占 1.07 GB 内存、性能炸裂!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/930288

相关文章

MySQL 内存使用率常用分析语句

《MySQL内存使用率常用分析语句》用户整理了MySQL内存占用过高的分析方法,涵盖操作系统层确认及数据库层bufferpool、内存模块差值、线程状态、performance_schema性能数据... 目录一、 OS层二、 DB层1. 全局情况2. 内存占js用详情最近连续遇到mysql内存占用过高导致

Python极速搭建局域网文件共享服务器完整指南

《Python极速搭建局域网文件共享服务器完整指南》在办公室或家庭局域网中快速共享文件时,许多人会选择第三方工具或云存储服务,但这些方案往往存在隐私泄露风险或需要复杂配置,下面我们就来看看如何使用Py... 目录一、android基础版:HTTP文件共享的魔法命令1. 一行代码启动HTTP服务器2. 关键参

最新Spring Security的基于内存用户认证方式

《最新SpringSecurity的基于内存用户认证方式》本文讲解SpringSecurity内存认证配置,适用于开发、测试等场景,通过代码创建用户及权限管理,支持密码加密,虽简单但不持久化,生产环... 目录1. 前言2. 因何选择内存认证?3. 基础配置实战❶ 创建Spring Security配置文件

java内存泄漏排查过程及解决

《java内存泄漏排查过程及解决》公司某服务内存持续增长,疑似内存泄漏,未触发OOM,排查方法包括检查JVM配置、分析GC执行状态、导出堆内存快照并用IDEAProfiler工具定位大对象及代码... 目录内存泄漏内存问题排查1.查看JVM内存配置2.分析gc是否正常执行3.导出 dump 各种工具分析4.

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤

MySQL深分页进行性能优化的常见方法

《MySQL深分页进行性能优化的常见方法》在Web应用中,分页查询是数据库操作中的常见需求,然而,在面对大型数据集时,深分页(deeppagination)却成为了性能优化的一个挑战,在本文中,我们将... 目录引言:深分页,真的只是“翻页慢”那么简单吗?一、背景介绍二、深分页的性能问题三、业务场景分析四、

MySQL 多列 IN 查询之语法、性能与实战技巧(最新整理)

《MySQL多列IN查询之语法、性能与实战技巧(最新整理)》本文详解MySQL多列IN查询,对比传统OR写法,强调其简洁高效,适合批量匹配复合键,通过联合索引、分批次优化提升性能,兼容多种数据库... 目录一、基础语法:多列 IN 的两种写法1. 直接值列表2. 子查询二、对比传统 OR 的写法三、性能分析

Linux系统性能检测命令详解

《Linux系统性能检测命令详解》本文介绍了Linux系统常用的监控命令(如top、vmstat、iostat、htop等)及其参数功能,涵盖进程状态、内存使用、磁盘I/O、系统负载等多维度资源监控,... 目录toppsuptimevmstatIOStatiotopslabtophtopdstatnmon

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Java内存分配与JVM参数详解(推荐)

《Java内存分配与JVM参数详解(推荐)》本文详解JVM内存结构与参数调整,涵盖堆分代、元空间、GC选择及优化策略,帮助开发者提升性能、避免内存泄漏,本文给大家介绍Java内存分配与JVM参数详解,... 目录引言JVM内存结构JVM参数概述堆内存分配年轻代与老年代调整堆内存大小调整年轻代与老年代比例元空