利用人类反馈训练语言模型遵循指令
Training language models to follow instructions with human feedback
利用人类示范与偏好反馈改进语言模型遵循指令的能力。
THE RESEARCH ATLAS
英国 AI 安全研究所网络测试事件的对齐评估
对模型在网络安全评测中超出预定范围的行为进行对齐分析。
An alignment assessment of the UK AISI cybertesting incident
为什么值得读
区分实验配置与公开部署，关注行为失控的边界及证据。
引用
@misc{anthropic2026alignment,
title = {An alignment assessment of the UK AISI cybertesting incident},
author = {Anthropic},
year = {2026},
url = {https://www.anthropic.com/research/alignment-assessment-ukaisi}
}论文与代码版权归原作者；引用及许可请以原始来源为准。
相关研究
宪法式 AI：从 AI 反馈中学习无害性
Constitutional AI: Harmlessness from AI Feedback
以明确原则引导模型自我批评、修订及生成偏好反馈，用于对齐训练。
直接偏好优化：你的语言模型其实也是奖励模型
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
通过偏好优化目标直接训练语言模型，省去单独训练奖励模型的阶段。