python-Bert（谷歌非官方产品）模型基础笔记0.1.096

本文主要是介绍python-Bert（谷歌非官方产品）模型基础笔记0.1.096，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

2024年6月7日19:15:13----0.1.095
2024年6月7日19:32:17----0.1.096

TODOLIST

1. 下游任务
2. 小数据微调模型
3. 增量训练

官网中的微调样例代码

1. 句子分类的样例代码：run_classifier.py
2. 完形填空的例子：run_squad.py
3. 句子编码的例子：extract_features.py

Bert模型的微调限制

我们做的具体领域任务对网络的设计要求必然得和预训练任务是一致的，主要包含下面两种任务：
任务一：屏蔽语言模型（Masked LM）
任务二：相邻句子判断（Next Sentence Prediction）

Bert的适合的场景

裸跑都非常优秀，句子级别（例如，SST-2）、句子对级别（例如MultiNLI）、单词级别（例如NER）和跨度级别（例如SQuAD），一般有如下场景：

1. 一种是 fine-tune（微调）方法，
2. 一种是 feature extract（特征抽取）方法，就是直接获取预训练的BERT模型的输出作为特征，对预训练的BERT的模型参数不会有任何改动。

Bert多语言和中文模型

参考链接：https://github.com/google-research/bert/blob/master/multilingual.md

1. 中文简繁体模型（BERT Chinese-only Model ）
   BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters
2. 其他非拉丁字母文本模型（BERT Multilingual Model ）
   BERT-Base, Multilingual Cased (New, recommended): 104 languages, 12-layer, 768-hidden, 12-heads, 110M parameters
   BERT-Base, Multilingual Uncased (Orig, not recommended): 102 languages, 12-layer, 768-hidden, 12-heads, 110M parameters

Bert模型两大类

BERT-Base 和 BERT-Large

官方建议模型

1. Uncased

这篇关于python-Bert（谷歌非官方产品）模型基础笔记0.1.096的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---