参考自回归语言模型（AR）和自编码语言模型（AE） 1 自回归语言模型（ AR） 自回归语言模型（AR）就是根据上文内容（或下文内容）预测下一个（或前一个）可能跟随的单词，就是常说的自左向右（或自右向左）的语言模型任务，即通过前 t - 1（或后 t - 1 ） 个 tokens 来预测当前时刻 t 的 token，代表的自回归语言模型有 ELMO 和 GPT。 1.1 优点 在处