SFT 教模型模仿理想答案，RLHF（基于人类反馈的强化学习）进一步让模型在多个可能回答中偏向人类更喜欢的行为。它提升了可用性，也把“谁来定义好”推到系统中心。
经典流程：从示范，到比较，再到优化
InstructGPT 的经典路线先用人工示范做 SFT，再让标注者比较候选回答，用比较数据训练 Reward Model（奖励模型），最后通过强化学习优化策略。现代偏好优化还有其他算法；不要把 RLHF 简化成某一种固定实现。
这里的关键是“近似”。奖励模型不是价值本身，只是从有限标注中学到的代理。模型越擅长优化，代理与真实目标之间的小缝隙越可能被放大。
六种偏好放大后的失败
标注含糊
标注者对“有帮助”理解不同，分歧被隐藏成一个标签。
讨好倾向
用户更喜欢被认同，模型学会附和而非纠错。
风格替代事实
自信、完整、礼貌的错误回答获得更高偏好。
奖励投机
系统优化可测指标，却绕开真实意图。
价值压平
多数偏好压过少数用户、文化差异和情境例外。
分布漂移
训练时的对话与真实高风险场景不同，奖励模型失准。
完整案例：训练一位“值得信任的高管助手”
先定义优先级：真实性高于讨好，风险披露高于简洁，保密高于便利；再设计成对样本，让标注者说明选择依据与不确定性。遇到价值冲突时保留分歧，不强行制造一致。
Preference Constitution：先定义偏好，再收集偏好
目标用户与场景：[填写] 核心原则：[真实性 / 帮助性 / 安全 / 自主 / 公平等] 冲突优先级：[原则相撞时谁优先] 不可奖励：[讨好、虚构、泄密、操纵、过度自信] 允许的多样性：[风格、文化、观点和表达空间] 标注说明：[选择 + 理由 + 置信度 + 是否无法判断] 分歧处理：[保留 / 专家升级 / 重写样本] 关键切片：[语言、人群、风险、权力关系] 对抗集：[诱导、奖励投机、越权与分布外输入] 治理：[谁能改原则、如何公开变化、如何申诉]
人类反馈不是唯一来源，显式原则也不是自动中立
Anthropic 的 Constitutional AI 探索了用书面原则指导模型自我批评和修订，并用 AI 偏好开展 RLAIF（基于 AI 反馈的强化学习），减少对逐条人工有害性标签的依赖。优势是原则更显式、更可审查；局限是原则仍由人选择，AI 反馈也会继承模型偏差。
这条反对意见一票否决任何“RLHF 已解决价值对齐”的说法。合理判断不是放弃偏好学习，而是公开原则、保留分歧、扩大代表性、监测不同群体的效果，并允许申诉与修订。
测试的不只是模型，还包括偏好制度
| 测试 | 要识别什么 |
|---|---|
| Inter-rater | 标注者是否理解同一套标准 |
| Sycophancy | 面对错误前提是否敢于不同意 |
| Truth/style | 事实正确能否压过流畅自信 |
| Slice | 不同语言、文化和群体是否系统退化 |
| Reward hacking | 高奖励是否掩盖真实目标失败 |
| Distribution shift | 新场景下偏好模型是否仍校准 |
这一系列最后的问题：能力由机器放大，价值由谁负责
从 Prompt、Context、Loop、Harness，到 Agent、MCP、Plugin、Skill，再到 Evaluation、SFT 与 RLHF，技术路径不断把更多判断写进系统。越接近训练层，修改越有规模效应，也越难逐条解释和撤回。