BGE M3:论文解读与代码实践,检索增强RAG实践新策略,BGE M3-Embedding方法实践与解读;检索增强生成

本文主要是介绍BGE M3:论文解读与代码实践,检索增强RAG实践新策略,BGE M3-Embedding方法实践与解读;检索增强生成,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation

1. 论文解读

In this project, we introduce BGE-M3, which is distinguished for its versatility in Multi-Functionality, Multi-Linguality, and Multi-Granularity.

  • Multi-Functionality: It can simultaneously perform the three common retrieval functionalities of embedding model: dense retrieval, multi-vector retrieval, and sparse retrieval.
  • Multi-Linguality: It can support more than 100 working languages.
  • Multi-Granularity: It is able to process inputs of different granularities, spanning from short sentences to long documents of up to 8192 tokens.

(1) 摘要介绍

        本文提出了一种新的嵌入模型,称为m3嵌入模型,该模型具有多语言、多功能和多粒度的通用性。它可以支持超过100种工作语言,在多语言和跨语言检索任务上带来新的最先进的性能。它可以同时实现嵌入模型中常用的三种检索功能密集检索、多向量检索和稀疏检索,为实际IR应用提供了统一的模型基础。它能够处理不同粒度的输入,从短句子到多达8192token的长文档。

        我们提出了一种新的自知识蒸馏方法,其中来自不同检索功能的相关分数可以被整合为教师信号,以增强训练质量。我们还优化了批处理策略,实现了大批量和高训练吞吐量,以确保嵌入的判别性。据我们所知,m3嵌入是第一个实现如此强通用性的嵌入模型。

        尽管文本嵌入广泛流行,但现有方法的通用性仍然有限。首先,大多数嵌入模型只针对英语量身定制,对于其他语言几乎没有可行的选择。其次,现有的嵌入模型通常是针对单一的检索功能进行训练的。然而,典型的IR系统需要多种检索方法的复合工作流。第三,由于压倒性的训练成本,训练一个有竞争力的长文档检索器是具有挑战性的,其中大多数嵌入模型只能支持短输入。

        m3嵌入精通多语言,可支持100多种世界语言。通过学习不同语言的共同语义空间,既能实现每种语言内的多语言检索,又能实现不同语言间的跨语言检索。此外,它能够生成通用的嵌入,以支持不同的检索功能,不仅是密集检索,还可以稀疏检索和多向量检索。最后,学习m3嵌入来处理不同的输入粒度,从句子和段落等短输入到多达8,192个输入令牌的长文档。

我们提出了一种新的自知识蒸馏框架,其中多种检索功能可以共同学习和相互加强。在m3嵌入中,[CLS]嵌入用于密集检索,而其他序列的嵌入用于稀疏检索和多向量检索。基于集成学习的原理(Buhlmann,2012),这样的异质预测器可以组合成更强的预测器。因此,我们将来自不同检索函数的相关分数整合为教师信号,用于通过知识蒸馏来增强学习过程。其次,我们优化处理策略,以实现大批量和高训练吞吐量,这实质上有助于嵌入的判别性。最后同样重要的是,我们执行全面和高质量的数据策略。我们的数据集由三个来源组成:1)从海量多语言语料库中提取无监督数据,2)整合密切相关的监督数据,3)合成稀缺的训练数据。这三个数据源相辅相成,并应用于训练过程的不同阶段,这为通用的文本嵌入奠定了基础。

(2) 方法实现

 

 

三种检索方式组合拳:

1)密集检索:在embedding的时候应用【CLS】 作为query和passage表示向量,然后计算两个向量的内积作为得分值:S-dense

2)稀疏检索:首先计算query中每个词的权重,如果出现多次取最高的权重,其次计算quy和passage公共部分词汇的权重(文中称为联合重要度,即两部分公共向量的乘积),最后求和表示得分:S-lex

3)多向量检索:是密集检索的扩展,应用query和passage所有的表示向量,乘以一个可学习矩阵并且norm之后,计算两部分的交互得分,有点像注意力机制:S-mul

        由于嵌入模型的多功能,检索过程可以在混合过程中进行。首先,候选结果可以由每种方法单独检索(多向量方法由于成本过高,可以免除这一步)。然后,根据综合相关分数对最终的检索结果重新排序:srank←sdense+slex+smul

 

 

 

 第三部分:自知识蒸馏

1)损失函数-1:InfoNCE loss(Noise Contrastive Estimation Loss)是一种用于自监督学习的损失函数,通常用于学习特征表示或者表征学习。它基于信息论的思想,通过对比正样本和负样本的相似性来学习模型参数。

2)损失函数-2:对类似于交叉熵损失函数,分别计算三部分得分的损失,求和取均值,见公式2-4

3)最后的损失函数:前两部分求和:L-final = L + L'

知识补充:何为 InfoNCE loss:

        文本编码器使用海量的无监督数据进行预训练,其中只有密集检索以对比学习的基本形式进行训练。将自知识蒸馏应用于第二阶段,对嵌入模型进行微调,以建立三个检索功能。在这一阶段同时使用标记数据和合成数据,按照ANCE方法为每个查询引入硬负样本 

(3)实验结果

 2. 代码实践

 环境配置:

git clone https://github.com/FlagOpen/FlagEmbedding.git
cd FlagEmbedding
pip install -e .

或者

pip install -U FlagEmbedding

(1) Dense Embedding 密集嵌入

from FlagEmbedding import BGEM3FlagModelmodel = BGEM3FlagModel('BAAI/bge-m3',  use_fp16=True) # Setting use_fp16 to True speeds up computation with a slight performance degradationsentences_1 = ["What is BGE M3?", "Defination of BM25"]
sentences_2 = ["BGE M3 is an embedding model supporting dense retrieval, lexical matching and multi-vector interaction.", "BM25 is a bag-of-words retrieval function that ranks a set of documents based on the query terms appearing in each document"]embeddings_1 = model.encode(sentences_1, batch_size=12, max_length=8192, # If you don't need such a long length, you can set a smaller value to speed up the encoding process.)['dense_vecs']
embeddings_2 = model.encode(sentences_2)['dense_vecs']
similarity = embeddings_1 @ embeddings_2.T
print(similarity)
# [[0.6265, 0.3477], [0.3499, 0.678 ]]

(2) Sparse Embedding (Lexical Weight)

from FlagEmbedding import BGEM3FlagModelmodel = BGEM3FlagModel('BAAI/bge-m3',  use_fp16=True) # Setting use_fp16 to True speeds up computation with a slight performance degradationsentences_1 = ["What is BGE M3?", "Defination of BM25"]
sentences_2 = ["BGE M3 is an embedding model supporting dense retrieval, lexical matching and multi-vector interaction.", "BM25 is a bag-of-words retrieval function that ranks a set of documents based on the query terms appearing in each document"]output_1 = model.encode(sentences_1, return_dense=True, return_sparse=True, return_colbert_vecs=False)
output_2 = model.encode(sentences_2, return_dense=True, return_sparse=True, return_colbert_vecs=False)# you can see the weight for each token:
print(model.convert_id_to_token(output_1['lexical_weights']))
# [{'What': 0.08356, 'is': 0.0814, 'B': 0.1296, 'GE': 0.252, 'M': 0.1702, '3': 0.2695, '?': 0.04092}, 
#  {'De': 0.05005, 'fin': 0.1368, 'ation': 0.04498, 'of': 0.0633, 'BM': 0.2515, '25': 0.3335}]# compute the scores via lexical mathcing
lexical_scores = model.compute_lexical_matching_score(output_1['lexical_weights'][0], output_2['lexical_weights'][0])
print(lexical_scores)
# 0.19554901123046875print(model.compute_lexical_matching_score(output_1['lexical_weights'][0], output_1['lexical_weights'][1]))
# 0.0

(3) Multi-Vector (ColBERT)

from FlagEmbedding import BGEM3FlagModelmodel = BGEM3FlagModel('BAAI/bge-m3',  use_fp16=True) sentences_1 = ["What is BGE M3?", "Defination of BM25"]
sentences_2 = ["BGE M3 is an embedding model supporting dense retrieval, lexical matching and multi-vector interaction.", "BM25 is a bag-of-words retrieval function that ranks a set of documents based on the query terms appearing in each document"]output_1 = model.encode(sentences_1, return_dense=True, return_sparse=True, return_colbert_vecs=True)
output_2 = model.encode(sentences_2, return_dense=True, return_sparse=True, return_colbert_vecs=True)print(model.colbert_score(output_1['colbert_vecs'][0], output_2['colbert_vecs'][0]))
print(model.colbert_score(output_1['colbert_vecs'][0], output_2['colbert_vecs'][1]))
# 0.7797
# 0.4620

(4) Compute score for text pairs

Input a list of text pairs, you can get the scores computed by different methods.

from FlagEmbedding import BGEM3FlagModelmodel = BGEM3FlagModel('BAAI/bge-m3',  use_fp16=True) sentences_1 = ["What is BGE M3?", "Defination of BM25"]
sentences_2 = ["BGE M3 is an embedding model supporting dense retrieval, lexical matching and multi-vector interaction.", "BM25 is a bag-of-words retrieval function that ranks a set of documents based on the query terms appearing in each document"]sentence_pairs = [[i,j] for i in sentences_1 for j in sentences_2]print(model.compute_score(sentence_pairs, max_passage_length=128, # a smaller max length leads to a lower latencyweights_for_different_modes=[0.4, 0.2, 0.4])) # weights_for_different_modes(w) is used to do weighted sum: w[0]*dense_score + w[1]*sparse_score + w[2]*colbert_score# {
#   'colbert': [0.7796499729156494, 0.4621465802192688, 0.4523794651031494, 0.7898575067520142], 
#   'sparse': [0.195556640625, 0.00879669189453125, 0.0, 0.1802978515625], 
#   'dense': [0.6259765625, 0.347412109375, 0.349853515625, 0.67822265625], 
#   'sparse+dense': [0.482503205537796, 0.23454029858112335, 0.2332356721162796, 0.5122477412223816], 
#   'colbert+sparse+dense': [0.6013619303703308, 0.3255828022956848, 0.32089319825172424, 0.6232916116714478]
# }

 

 

 

 

 

这篇关于BGE M3:论文解读与代码实践,检索增强RAG实践新策略,BGE M3-Embedding方法实践与解读;检索增强生成的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/891266

相关文章

Java中Arrays类和Collections类常用方法示例详解

《Java中Arrays类和Collections类常用方法示例详解》本文总结了Java中Arrays和Collections类的常用方法,涵盖数组填充、排序、搜索、复制、列表转换等操作,帮助开发者高... 目录Arrays.fill()相关用法Arrays.toString()Arrays.sort()A

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java

SpringBoot整合(ES)ElasticSearch7.8实践

《SpringBoot整合(ES)ElasticSearch7.8实践》本文详细介绍了SpringBoot整合ElasticSearch7.8的教程,涵盖依赖添加、客户端初始化、索引创建与获取、批量插... 目录SpringBoot整合ElasticSearch7.8添加依赖初始化创建SpringBoot项

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤

Nginx安全防护的多种方法

《Nginx安全防护的多种方法》在生产环境中,需要隐藏Nginx的版本号,以避免泄漏Nginx的版本,使攻击者不能针对特定版本进行攻击,下面就来介绍一下Nginx安全防护的方法,感兴趣的可以了解一下... 目录核心安全配置1.编译安装 Nginx2.隐藏版本号3.限制危险请求方法4.请求限制(CC攻击防御)

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

MySQL深分页进行性能优化的常见方法

《MySQL深分页进行性能优化的常见方法》在Web应用中,分页查询是数据库操作中的常见需求,然而,在面对大型数据集时,深分页(deeppagination)却成为了性能优化的一个挑战,在本文中,我们将... 目录引言:深分页,真的只是“翻页慢”那么简单吗?一、背景介绍二、深分页的性能问题三、业务场景分析四、

MySQL 迁移至 Doris 最佳实践方案(最新整理)

《MySQL迁移至Doris最佳实践方案(最新整理)》本文将深入剖析三种经过实践验证的MySQL迁移至Doris的最佳方案,涵盖全量迁移、增量同步、混合迁移以及基于CDC(ChangeData... 目录一、China编程JDBC Catalog 联邦查询方案(适合跨库实时查询)1. 方案概述2. 环境要求3.