介绍Phi-3:微软重新定义小型语言模型(SLM)的可能性

2024-04-25 03:52

本文主要是介绍介绍Phi-3:微软重新定义小型语言模型(SLM)的可能性,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

微软最近推出了名为Phi-3的开放式AI模型家族,这是一系列最具性价比的小型语言模型(SLM)。Phi-3模型在各种语言、推理、编码和数学基准测试中的表现超越了同等大小甚至更大型号的模型。此次发布扩展了为客户提供高质量模型的选择,使他们在构建和开发生成式AI应用程序时有更多的实用选择。

从今天开始,3.8亿参数的Phi-3-mini模型已在微软Azure AI Studio、Hugging Face和Ollama平台上提供。https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

Phi-3-mini提供两种上下文长度变体——4K和128K令牌。它是首个支持高达128K令牌上下文窗口的同类模型,且对质量的影响很小。它经过指令调优,训练以遵循反映人们正常沟通的各种指令类型,确保模型开箱即用。它在Azure AI上可用,利用部署-评估-微调工具链,并在Ollama上可供开发者在本地笔记本电脑上运行。它针对ONNX运行时进行了优化,支持Windows DirectML,并具有跨平台支持,包括图形处理单元(GPU)、CPU甚至移动硬件。它还作为NVIDIA NIM微服务提供,带有标准API接口,可以在任何地方部署,并已针对NVIDIA GPU进行了优化。

在接下来的几周内,将向Phi-3家族添加更多模型,为客户在质量-成本曲线上提供更多灵活性。Phi-3-small(70亿)和Phi-3-medium(140亿)将很快在Azure AI模型目录和其他模型园中提供。

微软持续提供在质量-成本曲线上最佳的模型,今天的Phi-3发布扩大了具有最先进小型模型的选择。Phi-3模型显著超越了同等大小和更大大小的语言模型在关键基准测试上的表现。例如,Phi-3-mini的表现优于其两倍大的模型,而Phi-3-small和Phi-3-medium则超越了包括GPT-3.5T在内的更大型号。

所有报告的数字都是使用相同的流程产生的,以确保数字之间的可比性。因此,由于评估方法的轻微差异,这些数字可能与其他公布的数字不同。我们的技术论文提供了更多关于基准测试的详细信息。

Phi-3模型按照微软的负责任AI标准开发,该标准是一套公司范围内基于责任、透明度、公平性、可靠性与安全、隐私与安全以及包容性的六大原则的要求。Phi-3模型经过严格的安全测量和评估、红队测试、敏感用途审查以及遵守安全指南,以帮助确保这些模型按照微软的标准和最佳实践负责任地开发、测试和部署。

微软利用Azure AI推出助手产品并使客户能够通过生成式AI转型其业务,这突显了对不同大小模型的需求。小型语言模型,如Phi-3,特别适用于资源受限环境、响应时间要求快的场景以及成本受限的用例。

Phi-3-mini特别适用于设备上使用,尤其是在与ONNX运行时进一步优化后,可以跨平台使用。Phi-3模型的较小大小也使得微调或定制更加容易和经济。此外,它们较低的计算需求使得它们是一个成本更低、延迟更低的选择。较长的上下文窗口使得它们能够接收和推理大量文本内容——文档、网页、代码等。Phi-3-mini展示了强大的推理和逻辑能力,使其成为分析任务的理想选择。

客户已经在使用Phi-3构建解决方案。例如,在农业领域,Phi-3已经展现了其价值,尤其是在互联网可能不易获得的地方。如此强大的小型模型连同微软的助手模板,可在需要时为农民提供,且运行成本更低,使AI技术更加普及。

印度的领先商业集团ITC正在利用Phi-3作为其与微软在Krishi Mitra农民应用助手上持续合作的一部分。ITCMAARS技术总监Saif Naik表示:“我们与Krishi Mitra助手的目标是在保持大型语言模型的准确性的同时提高效率。我们很高兴能与微软合作使用经过精细调整的Phi-3来实现我们的目标——效率和准确性!”

这篇关于介绍Phi-3:微软重新定义小型语言模型(SLM)的可能性的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/933633

相关文章

MybatisPlus service接口功能介绍

《MybatisPlusservice接口功能介绍》:本文主要介绍MybatisPlusservice接口功能介绍,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友... 目录Service接口基本用法进阶用法总结:Lambda方法Service接口基本用法MyBATisP

Go语言中泄漏缓冲区的问题解决

《Go语言中泄漏缓冲区的问题解决》缓冲区是一种常见的数据结构,常被用于在不同的并发单元之间传递数据,然而,若缓冲区使用不当,就可能引发泄漏缓冲区问题,本文就来介绍一下问题的解决,感兴趣的可以了解一下... 目录引言泄漏缓冲区的基本概念代码示例:泄漏缓冲区的产生项目场景:Web 服务器中的请求缓冲场景描述代码

Go语言如何判断两张图片的相似度

《Go语言如何判断两张图片的相似度》这篇文章主要为大家详细介绍了Go语言如何中实现判断两张图片的相似度的两种方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 在介绍技术细节前,我们先来看看图片对比在哪些场景下可以用得到:图片去重:自动删除重复图片,为存储空间"瘦身"。想象你是一个

Go语言中Recover机制的使用

《Go语言中Recover机制的使用》Go语言的recover机制通过defer函数捕获panic,实现异常恢复与程序稳定性,具有一定的参考价值,感兴趣的可以了解一下... 目录引言Recover 的基本概念基本代码示例简单的 Recover 示例嵌套函数中的 Recover项目场景中的应用Web 服务器中

MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)

《MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)》掌握多表联查(INNERJOIN,LEFTJOIN,RIGHTJOIN,FULLJOIN)和子查询(标量、列、行、表子查询、相关/非相关、... 目录第一部分:多表联查 (JOIN Operations)1. 连接的类型 (JOIN Types)

java中BigDecimal里面的subtract函数介绍及实现方法

《java中BigDecimal里面的subtract函数介绍及实现方法》在Java中实现减法操作需要根据数据类型选择不同方法,主要分为数值型减法和字符串减法两种场景,本文给大家介绍java中BigD... 目录Java中BigDecimal里面的subtract函数的意思?一、数值型减法(高精度计算)1.

Pytorch介绍与安装过程

《Pytorch介绍与安装过程》PyTorch因其直观的设计、卓越的灵活性以及强大的动态计算图功能,迅速在学术界和工业界获得了广泛认可,成为当前深度学习研究和开发的主流工具之一,本文给大家介绍Pyto... 目录1、Pytorch介绍1.1、核心理念1.2、核心组件与功能1.3、适用场景与优势总结1.4、优

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可

Java实现本地缓存的常用方案介绍

《Java实现本地缓存的常用方案介绍》本地缓存的代表技术主要有HashMap,GuavaCache,Caffeine和Encahche,这篇文章主要来和大家聊聊java利用这些技术分别实现本地缓存的方... 目录本地缓存实现方式HashMapConcurrentHashMapGuava CacheCaffe

SpringBoot整合Sa-Token实现RBAC权限模型的过程解析

《SpringBoot整合Sa-Token实现RBAC权限模型的过程解析》:本文主要介绍SpringBoot整合Sa-Token实现RBAC权限模型的过程解析,本文给大家介绍的非常详细,对大家的学... 目录前言一、基础概念1.1 RBAC模型核心概念1.2 Sa-Token核心功能1.3 环境准备二、表结