直接偏好优化：你的语言模型其实是一个奖励模型

链接表

摘要和 1. 引言

2 相关工作

3 准备工作

4 直接偏好优化

5 DPO的理论分析

6 实验

7 讨论、致谢和参考文献

作者贡献

语文推证

A.1 推导 KL 约束奖励最大化目标的最优值

A.2 根据 Bradley-Terry 模型推导 DPO 目标

A.3 根据 Plackett-Luce 模型推导 DPO 目标

A.4 推导 DPO 目标函数的梯度和 A.5 引理 1 和 2 的证明

A.6 定理1的证明

B DPO 实现细节和超参数

C 实验设置的更多细节和 C.1 IMDb 情绪实验和基线细节

C.2 GPT-4 提示计算摘要和对话胜率

C.3 不可能基线

D 任何实证的结果

D.1 最佳 N 基线对各种 N 的表现和 D.2 样本响应和 GPT-4 判断

D.3 人体研究细节

抽象的

而是大总量无督促程序语言学英文3d模式 (LM) 能能练习非常广泛的地球基本常识和某些逻辑推理技能视觉效果，但随着其体能训练方法方式具体方法截然无督促，以至于太难明确的调控其情形。现存的领取一些可调控性的方式具体方法是获取3d模式合成较为产品的人间标记，并稍细调一下无督促程序语言学英文3d模式以贴合这部分喜欢，一般用从人间评议中确定增幅练习 (RLHF)。那么，RLHF 是个很复杂且一般不可靠的时，1要曲线拟合两个反映了人间喜欢的实物奖励制度3d模式，接下来用增幅练习稍细调一下巨型无督促程序语言学英文3d模式以最主要化这样可能的实物奖励制度，而不用紧急制动原3d模式很大。在本诗中，小编获取了 RLHF 中实物奖励制度3d模式的新技术指标化，能能以密封风格分离出相对的最有效的具体方法，让小编就能够仅用简简单单的做好分类盘亏来缓解标准 RLHF 的问题。形成形成的法求，小编又叫做随时喜欢网站优化 (DPO)，可靠、效率且核算量轻，不用再在稍细调一下或完成大量超技术指标优化过程中从 LM 中取样。小编的试验阐明，DPO 能能稍细调一下 LM，使其与人间喜欢恢复同步，视觉效果与现存方式具体方法类似好也非常好。引起需要注意的是，用 DPO 确定稍细调一下在的调控代际负面情绪的功能地方以上了依托于 PPO 的 RLHF，和在汇报总结和单论交流中自动匹配或上升了回应产品，同時使用和体能训练方法方式具体方法在一起要简简单单得多。

1 简介

在如此大的数值集上体能借鉴的新型无监管语言英文表达对实体模特 (LM) 获得了了另人大吃一惊的水平 [11, 7, 40, 8]。但，部分对实体模特是在具备几种指标、优先选择相关事宜和专业既能的一添加的数值上体能借鉴的。这里面部分指标和专业既能机会不合摸仿；这类，似乎自己都机会渴望自己都的人为智慧标识号助手下载熟悉多见的程序编写问题若要修复两者，但在添加二维码时，自己都渴望自己都的对实体模特喜爱于其体能借鉴数值中来源于的（机会令人震惊的）优水平标识号水平。都，自己都机会渴望自己都的语言英文表达对实体模特都可以发现到 50% 的人深信的多见错解，但自己都不过不渴望对实体模特在 50% 的查询个人中扬言一些错解是正常的！简单来说，从对实体模特如此诸多的基本常识和水平选出择其要求的死机和攻击行为关于营造安全性高、高的性能和人工工资控制的人为智慧模式至关重点 [26]。似乎现阶段的方法一般性选择提升借鉴 (RL) 来指导 LM 以适配我们人类习惯，

各位将表明，主要策略所安全使用的依托于 RL 的对象就能够完成单纯的二元平行熵对象做好正确seo，得以大大大抽象化喜好学校具体步骤。

从高层住宅、次你看，当前方式方案适用经曲的人類爱好集将需要的犯罪现象传递到文学语言学仿真实体仿真模特中，这么多爱好集带表了人類人认为平安和有价值的犯罪现象类型的。此爱好自学周期实行在对门头文章大参数集实行大整体规模无监管预培养的初始值周期在这之后。似乎爱好自学最会直接的方式方案是在人類展现出优的质量初始化失败时实行监管调整，但最实现目标的方式方案算起人類（或人工智慧）评价中实行进阶自学（RLHF/RLAIF；[12, 2]）。RLHF 方式方案将嘉奖仿真实体仿真模特线性拟合到人類爱好大参数集，随后适用 RL 优化系统文学语言学仿真实体仿真模特战略以诞生分配原则高嘉奖的初始化失败，而不可能偏差原使仿真实体仿真模特比较远。似乎 RLHF 可以导出含有真让人形象令人难忘的对战和标识号本事的仿真实体仿真模特，但 RLHF 具体步骤比监管自学麻烦得多，所涉培养二个 LM 并在培养无限循环中从 LM 战略中实行采样系统，所以诞生广泛的算起资金。

在这段话中，当各位公司展示板了如何快速简便SEO推广语言学模式化以了解全全人类消费喜好，而不须很明确的福利设计或增幅掌握成绩。当各位公司推出了简便消费喜好SEO推广 (DPO)，该梯度下降法隐式SEO推广与目前拥有 RLHF 梯度下降法同一的受众（含有 KL 散度自律的福利较大 化），但方便于构建且方便于练习。直观性地说，DPO 内容更新曾加了消费喜好异常与不消费喜好异常的对于多数慨率，但它联系了动态的的、每项范本的关键性性网站权重，可避免 当各位公司表明在简便慨率比受众印发生的模式化衰退。与目前拥有梯度下降法一模一样，DPO 依耐于理论知识消费喜好模式化（举例 Bradley-Terry 模式化；[5]），该模式化权衡给定福利指数指数函数公式与心得消费喜好数剧文件的适当程度较。不过，而是目前拥有手段运用消费喜好模式化来判定消费喜好毁损以练习福利模式化，第三练习SEO推广掌握成绩到的福利模式化的策咯，但 DPO 运用变数发生变化将消费喜好毁损简便判定为策咯的指数指数函数公式。由此，给定的全全人类消费喜好与模式化异常的数剧文件集，DPO 能运用简便的二元双向熵受众来SEO推广策咯，若想为适当消费喜好数剧文件的隐式福利指数指数函数公式生成二维码最适策咯。

我国的常见突出贡献是随时风险风险习惯推广 (DPO)，那就是一款简便的非提升学业优化算法，用以依据风险风险习惯训练科目编程计算机语言模式。我国的实验操作显示，就采用更多 6B 个规格的编程计算机语言模式完成抑郁情绪调节器、小结和经典对话等工作任务中的风险风险习惯学业，DPO 最起码与现存方式 （收录依据 PPO 的 RLHF）是一样的可以有效。