Cohere For AI 推出了 Aya,这是一款覆盖超过 100 种语言的大型语言模型(LLM)

2024-02-15 09:04

本文主要是介绍Cohere For AI 推出了 Aya,这是一款覆盖超过 100 种语言的大型语言模型(LLM),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

想要加入 Aya 项目,您可以访问 Aya 项目的官方网站 (https://aya.for.ai/?ref=txt.cohere.com&{query})进行注册并开始您的探索之旅。此外,您还可以在 Cohere Playground (https://dashboard.cohere.com/welcome/login?redirect_uri=%2Fplayground%2Fgenerate%3Fmodel%3Dc4ai-aya%26ref%3Dtxt.cohere.com%26%257Bquery%257D%3D)中尝试 Aya 模型,或者下载模型和数据集,(https://cohere.com/research/aya?ref=txt.cohere.com&{query})以便深入研究和利用这一开源资源。

Cohere For AI 的研究团队,也就是 Cohere 的非营利性研究实验室 C4AI,今日宣布了一项激动人心的进展:推出了一款名为 Aya 的全新、开源、大规模多语言生成式大型语言模型(LLM),覆盖超过 101 种语言。这一跨越性的创举,使得 Aya 的语言覆盖范围是现有开源模型的两倍多,致力于为那些在大多数市场上高级模型中被大量忽略的语言和文化解锁 LLMs 的强大潜能。

C4AI 团队不仅公开了 Aya 模型,还发布了迄今为止最大的多语言指导微调数据集,包含 513 百万条数据,涵盖 114 种语言。这个庞大的数据集汇集了全球各地母语和流利的说话者的珍贵注释,旨在确保 AI 技术能够有效服务于之前访问受限的广泛全球用户。

Aya 的问世标志着机器学习社区在处理大规模多语言 AI 研究方面的范式转变,不仅仅是技术上的进步,更是研究方法、地点及参与者的变化。随着 LLMs 和 AI 的普遍应用改变了全球技术格局,许多社区因现有模型的语言限制而处于无法得到支持的状态。这种差距不仅影响了生成 AI 对全球受众的适用性和有效性,还可能加剧已经存在的技术发展差距。大多数模型由于主要依赖英语及其他几十种语言作为训练资源,往往带有固有的文化偏见。

为了填补这一差距,Aya 项目得以启动,汇集了来自 119 个国家的超过 3000 名独立研究人员的力量。Aya 团队在提升弱势语言性能方面取得了显著成就,特别是在自然语言理解、总结和翻译等复杂任务上展现出超越现有开源多语言模型的能力。在与现有最优开源模型进行的基准测试中,Aya 的表现远超 mT0 和 Bloomz,人类评估得分达到 75%,在各项模拟胜率测试中得分为 80-90%。

此外,Aya 还扩展了对 50 多种之前未被服务的语言的覆盖,包括索马里语、乌兹别克语等。尽管专有模型很好地服务了世界上最常用的一些语言,Aya 为数十种代表性不足的语言提供了前所未有的开源模型支持。

Aya 项目还发布了包含 513 百万条提示和完成项的 Aya 数据集,涵盖了 114 种语言。这一巨大的数据集是由世界各地的流利说话者创建的,它们为选定的数据集创建模板并增强了精心策划的数据集列表。这个数据集中的许多语言在指导式数据集中之前没有任何代表。这使得 Aya 数据集成为了开发者和研究人员宝贵的、大规模的高质量语言数据仓库。

C4AI 团队以 Apache 2.0 许可证发布 Aya 模型和数据集,旨在扩大对多语言进步的访问权。通过这个许可证,学术界、民间机构和小公司可以利用 Aya 模型和数据产生更广泛的影响。

Aya 将成为未来开放科学项目的基础,并期待持续提升其能力。为了加入这项开放科学倡议并确保您的语言得到代表,欢迎访问 Aya 项目网站注册并开始参与。您还可以在 Cohere Playground 尝试 Aya 模型或下载模型和数据集。

为了深入了解这项研究及其背后的团队,C4AI 将在 2 月 16 日(星期五)举办一场虚拟活动,分享更多关于新 Aya 模型的信息。

这篇关于Cohere For AI 推出了 Aya,这是一款覆盖超过 100 种语言的大型语言模型(LLM)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/710948

相关文章

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结

Go语言中使用JWT进行身份验证的几种方式

《Go语言中使用JWT进行身份验证的几种方式》本文主要介绍了Go语言中使用JWT进行身份验证的几种方式,包括dgrijalva/jwt-go、golang-jwt/jwt、lestrrat-go/jw... 目录简介1. github.com/dgrijalva/jwt-go安装:使用示例:解释:2. gi

Go 语言中的 Struct Tag 的用法详解

《Go语言中的StructTag的用法详解》在Go语言中,结构体字段标签(StructTag)是一种用于给字段添加元信息(metadata)的机制,常用于序列化(如JSON、XML)、ORM映... 目录一、结构体标签的基本语法二、json:"token"的具体含义三、常见的标签格式变体四、使用示例五、使用

Spring AI 实现 STDIO和SSE MCP Server的过程详解

《SpringAI实现STDIO和SSEMCPServer的过程详解》STDIO方式是基于进程间通信,MCPClient和MCPServer运行在同一主机,主要用于本地集成、命令行工具等场景... 目录Spring AI 实现 STDIO和SSE MCP Server1.新建Spring Boot项目2.a

Go语言使用slices包轻松实现排序功能

《Go语言使用slices包轻松实现排序功能》在Go语言开发中,对数据进行排序是常见的需求,Go1.18版本引入的slices包提供了简洁高效的排序解决方案,支持内置类型和用户自定义类型的排序操作,本... 目录一、内置类型排序:字符串与整数的应用1. 字符串切片排序2. 整数切片排序二、检查切片排序状态:

基于Go语言实现Base62编码的三种方式以及对比分析

《基于Go语言实现Base62编码的三种方式以及对比分析》Base62编码是一种在字符编码中使用62个字符的编码方式,在计算机科学中,,Go语言是一种静态类型、编译型语言,它由Google开发并开源,... 目录一、标准库现状与解决方案1. 标准库对比表2. 解决方案完整实现代码(含边界处理)二、关键实现细

使用Python自动化生成PPT并结合LLM生成内容的代码解析

《使用Python自动化生成PPT并结合LLM生成内容的代码解析》PowerPoint是常用的文档工具,但手动设计和排版耗时耗力,本文将展示如何通过Python自动化提取PPT样式并生成新PPT,同时... 目录核心代码解析1. 提取 PPT 样式到 jsON关键步骤:代码片段:2. 应用 JSON 样式到

如何合理管控Java语言的异常

《如何合理管控Java语言的异常》:本文主要介绍如何合理管控Java语言的异常问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍2、Thorwable类3、Error4、Exception类4.1、检查异常4.2、运行时异常5、处理方式5.1. 捕获异常

C语言中的常见进制转换详解(从二进制到十六进制)

《C语言中的常见进制转换详解(从二进制到十六进制)》进制转换是计算机编程中的一个常见任务,特别是在处理低级别的数据操作时,C语言作为一门底层编程语言,在进制转换方面提供了灵活的操作方式,今天,我们将深... 目录1、进制基础2、C语言中的进制转换2.1 从十进制转换为其他进制十进制转二进制十进制转八进制十进