利用人类反馈训练语言模型遵循指令
Training language models to follow instructions with human feedback
利用人类示范与偏好反馈改进语言模型遵循指令的能力。
THE RESEARCH ATLAS
调查评测与内部使用中的非预期模型行为
整理模型评测与内部使用中观察到的非预期行为，并讨论防护措施。
Investigating unintended model actions in our evaluations and internal use
为什么值得读
把失败案例与能力评测对照阅读，理解实际操作的边界。
引用
@misc{anthropic2026investigating,
title = {Investigating unintended model actions in our evaluations and internal use},
author = {Anthropic},
year = {2026},
url = {https://www.anthropic.com/research/investigating-unintended-model-actions}
}论文与代码版权归原作者；引用及许可请以原始来源为准。
相关研究
宪法式 AI：从 AI 反馈中学习无害性
Constitutional AI: Harmlessness from AI Feedback
以明确原则引导模型自我批评、修订及生成偏好反馈，用于对齐训练。
直接偏好优化：你的语言模型其实也是奖励模型
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
通过偏好优化目标直接训练语言模型，省去单独训练奖励模型的阶段。