【python】Gpt-embedding文本建模

本文主要是介绍【python】Gpt-embedding文本建模，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

要使用Gpt-embedding计算两组在不同主题下的相似度，可以按照以下步骤进行：

1. 准备数据

收集公司文档 $D_c$ 和政府文档 $D_g$ 。

2. 定义主题和关键词

设定主题集合 $\{t_1, t_2, \ldots, t_n\}$ 和对应的关键词集合 $K(t_i)$ 。

3. 生成主题嵌入

对于每个主题 $t_i$ ，生成嵌入向量 $E(t_i)$ ：
$E(t_i) = \text{Embedding}(K(t_i))$

4. 生成文档嵌入

生成公司文档和政府文档的嵌入向量：
$E(D_c) = \text{Embedding}(D_c)$
$E(D_g) = \text{Embedding}(D_g)$

5. 计算相似度

对于每个主题 $t_i$ ，计算公司文档与主题的相似度 $S_c(t_i)$ 和政府文档与主题的相似度 $S_g(t_i)$ ：
$S_c(t_i) = \text{CosineSimilarity}(E(D_c), E(t_i))$
$S_g(t_i) = \text{CosineSimilarity}(E(D_g), E(t_i))$
计算公司文档与政府文档之间的相似度 $ S(D_c, D_g) $：
$S(D_c, D_g) = \text{CosineSimilarity}(E(D_c), E(D_g))$

6. 输出结果

输出每个主题的相似度得分：
$\text{Result} = \{(t_i, S_c(t_i), S_g(t_i), S(D_c, D_g)) | \forall t_i \in T\}$

要点

使用text-embedding-3-small模型为每个主题的关键词生成嵌入向量。
使用相同的模型为公司文档和政府文档生成嵌入向量。
对于每个主题，计算公司文档嵌入与政府文档嵌入之间的相似度得分。

示例代码（Python伪代码）

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
import openai  # 确保你安装了OpenAI的Python库# 假设你有两个文档
company_document = "公司文档内容"
government_document = "政府文档内容"# 定义18个主题和关键词
themes = {"主题1": ["关键词1", "关键词2"],"主题2": ["关键词3", "关键词4"],# 继续为其他主题定义关键词，直到主题18
}# 生成主题嵌入
theme_embeddings = {}
for theme, keywords in themes.items():keywords_str = ' '.join(keywords)embedding = openai.Embedding.create(input=keywords_str, model="text-embedding-3-small")['data'][0]['embedding']theme_embeddings[theme] = embedding# 生成文档嵌入
company_embedding = openai.Embedding.create(input=company_document, model="text-embedding-3-small")['data'][0]['embedding']
government_embedding = openai.Embedding.create(input=government_document, model="text-embedding-3-small")['data'][0]['embedding']# 计算每个主题的相似度
similarity_scores = {}
for theme, theme_embedding in theme_embeddings.items():# 计算公司文档和政府文档与主题的相似度company_similarity = cosine_similarity([company_embedding], [theme_embedding])[0][0]government_similarity = cosine_similarity([government_embedding], [theme_embedding])[0][0]# 计算公司和政府文档之间的相似度document_similarity = cosine_similarity([company_embedding], [government_embedding])[0][0]# 存储相似度得分similarity_scores[theme] = {"company_similarity": company_similarity,"government_similarity": government_similarity,"document_similarity": document_similarity}# 输出结果
for theme, scores in similarity_scores.items():print(f"Theme: {theme}, Company Similarity: {scores['company_similarity']}, Government Similarity: {scores['government_similarity']}, Document Similarity: {scores['document_similarity']}")