本文主要是介绍吴恩达-从人类反馈中进行强化学习RLHF，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
吴恩达-从人类反馈中进行强化学习RLHF
https://www.bilibili.com/video/BV1R94y1P7QX?p=1&vd_source=e7939b5cb7bc219a05ee9941cd297ade
1、公开的LLM，Llama2，
使用LLM对同一个提示产生多个不同输出，然后人类评估这些输出。评估方法是对比两个输出，找出他们喜欢的那个。于是形成的就是偏好数据集。preference dataset。数据集捕捉的是标注员的偏好而不是人类整体的偏好。偏好数据集比较难建立，取决于你希望你的模型更积极还是更有用。
2、用这个偏好数据集训练奖励模型。
通常奖励模型是另一个LLM。
推理阶段，奖励模型接收一个提示和答案，返回一个标量值，这个标量值表明了答案有多好。奖励模型本质上是一个回归模型，输出数字。
输入是三元组：（提示，完成1，完成2），输出一个分数。
损失函数：分数的结合
第二个数据集，提示数据集
强化学习：
在RLHF这个场景中，策略是我们要微调的大模型，当前状态是上下文中的任何内容，动作是产生tokens，每次大模型生成一个完成，就会从奖励模型中得到奖励，指示生成文本的对齐程度。具体通过PPO算法学习。
这篇关于吴恩达-从人类反馈中进行强化学习RLHF的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
