基于深度卷积神经网络的 ImageNet 分类
ImageNet Classification with Deep Convolutional Neural Networks
深度卷积网络将数据、GPU 计算与表示学习结合，为现代视觉研究提供了重要起点。
THE RESEARCH ATLAS
AI 经典必读论文
从表示学习、Transformer 和规模规律，到偏好学习与高效训练。经典与前沿分开展示。
注意力即全部
Attention Is All You Need
Transformer 用注意力机制构建序列模型，成为后续语言与多模态模型的重要基础。
BERT：面向语言理解的深度双向 Transformer 预训练
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
通过掩码语言预训练学习双向表示，再迁移到语言理解任务。
语言模型是少样本学习者
Language Models are Few-Shot Learners
GPT-3 探索大规模自回归模型如何从上下文中的少量示例执行新任务。
去噪扩散概率模型
Denoising Diffusion Probabilistic Models
模型学习逐步反转加噪过程，为图像生成建立了重要的扩散建模路线。
从自然语言监督中学习可迁移的视觉模型
Learning Transferable Visual Models From Natural Language Supervision
通过对比学习对齐图像与自然语言描述，使视觉表示能够迁移到新类别。
LoRA：大语言模型的低秩适配
LoRA: Low-Rank Adaptation of Large Language Models
冻结预训练权重，仅学习低秩更新，以减少适配模型时需要训练的参数。
利用人类反馈训练语言模型遵循指令
Training language models to follow instructions with human feedback
利用人类示范与偏好反馈改进语言模型遵循指令的能力。
训练计算最优的大语言模型
Training Compute-Optimal Large Language Models
研究如何在固定训练计算预算下，平衡模型规模与训练数据规模。
FlashAttention：具备 IO 感知能力的快速、内存高效精确注意力
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
通过减少内存访问开销，在保持精确注意力计算的同时提高效率。
宪法式 AI：从 AI 反馈中学习无害性
Constitutional AI: Harmlessness from AI Feedback
以明确原则引导模型自我批评、修订及生成偏好反馈，用于对齐训练。
直接偏好优化：你的语言模型其实也是奖励模型
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
通过偏好优化目标直接训练语言模型，省去单独训练奖励模型的阶段。
扩散策略：通过动作扩散学习视觉运动策略
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
将机器人控制建模为条件动作序列去噪，把扩散模型连接到视觉运动学习。