基于深度卷积神经网络的 ImageNet 分类
ImageNet Classification with Deep Convolutional Neural Networks
深度卷积网络将数据、GPU 计算与表示学习结合，为现代视觉研究提供了重要起点。
THE RESEARCH ATLAS
训练计算最优的大语言模型
研究如何在固定训练计算预算下，平衡模型规模与训练数据规模。
Training Compute-Optimal Large Language Models
为什么值得读
帮助建立训练预算观念，而不是只关注模型参数量。
引用
@misc{hoffmann2022training,
title = {Training Compute-Optimal Large Language Models},
author = {Jordan Hoffmann and Sebastian Borgeaud and Arthur Mensch and Elena Buchatskaya and Trevor Cai and Eliza Rutherford and Diego de Las Casas and Lisa Anne Hendricks and Johannes Welbl and Aidan Clark and Tom Hennigan and Eric Noland and Katie Millican and George van den Driessche and Bogdan Damoc and Aurelia Guy and Simon Osindero and Karen Simonyan and Erich Elsen and Jack W. Rae and Oriol Vinyals and Laurent Sifre},
year = {2022},
eprint = {2203.15556},
archivePrefix = {arXiv},
primaryClass = {cs.CL},
url = {https://arxiv.org/abs/2203.15556}
}论文与代码版权归原作者；引用及许可请以原始来源为准。
相关研究
注意力即全部
Attention Is All You Need
Transformer 用注意力机制构建序列模型，成为后续语言与多模态模型的重要基础。
BERT：面向语言理解的深度双向 Transformer 预训练
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
通过掩码语言预训练学习双向表示，再迁移到语言理解任务。