[论文笔记] BPC(bits per character)和BPW(bits per word)

本文主要是介绍[论文笔记] BPC(bits per character)和BPW(bits per word)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

BPC和BPW都是评估语言模型性能的指标:

BPC (Bits-Per-Character)

        BPC表示 每个字符的平均编码长度，计算公式为: BPC = 交叉熵损失失/ log(2)

        其中交叉熵损失是模型在数据集上的平均负对数似然。 BPC越小，表示模型对数据集的建模能力越强。

BPW (Bits-Per-Word))

        BPW表示 每个单词的平均编码长度，计算公式为: BPW =交叉熵损失失/ (log(2) * 平均单词长度)

        其中平均单词长度是训练集中单词的平均字符长度。 BPW越小，也表示模型对数据集的建模能力越强。

        交叉熵损失的单位 通过除以log(2)

这篇关于[论文笔记] BPC(bits per character)和BPW(bits per word)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---