LoRA：大语言模型的低秩适配
LoRA: Low-Rank Adaptation of Large Language Models
冻结预训练权重，仅学习低秩更新，以减少适配模型时需要训练的参数。
THE RESEARCH ATLAS
直接偏好优化：你的语言模型其实也是奖励模型
通过偏好优化目标直接训练语言模型，省去单独训练奖励模型的阶段。
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
为什么值得读
与 RLHF 流程对照，关注目标函数及其假设。
引用
@misc{rafailov2023direct,
title = {Direct Preference Optimization: Your Language Model is Secretly a Reward Model},
author = {Rafael Rafailov and Archit Sharma and Eric Mitchell and Stefano Ermon and Christopher D. Manning and Chelsea Finn},
year = {2023},
eprint = {2305.18290},
archivePrefix = {arXiv},
primaryClass = {cs.LG},
url = {https://arxiv.org/abs/2305.18290}
}论文与代码版权归原作者；引用及许可请以原始来源为准。
相关研究
利用人类反馈训练语言模型遵循指令
Training language models to follow instructions with human feedback
利用人类示范与偏好反馈改进语言模型遵循指令的能力。
训练计算最优的大语言模型
Training Compute-Optimal Large Language Models
研究如何在固定训练计算预算下，平衡模型规模与训练数据规模。