基于深度卷积神经网络的 ImageNet 分类
ImageNet Classification with Deep Convolutional Neural Networks
深度卷积网络将数据、GPU 计算与表示学习结合，为现代视觉研究提供了重要起点。
THE RESEARCH ATLAS
BERT：面向语言理解的深度双向 Transformer 预训练
通过掩码语言预训练学习双向表示，再迁移到语言理解任务。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
为什么值得读
将表示学习与生成式语言模型的自回归训练方式对照阅读。
引用
@misc{devlin2018bert,
title = {BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding},
author = {Jacob Devlin and Ming-Wei Chang and Kenton Lee and Kristina Toutanova},
year = {2018},
eprint = {1810.04805},
archivePrefix = {arXiv},
primaryClass = {cs.CL},
url = {https://arxiv.org/abs/1810.04805}
}论文与代码版权归原作者；引用及许可请以原始来源为准。
相关研究
注意力即全部
Attention Is All You Need
Transformer 用注意力机制构建序列模型，成为后续语言与多模态模型的重要基础。
语言模型是少样本学习者
Language Models are Few-Shot Learners
GPT-3 探索大规模自回归模型如何从上下文中的少量示例执行新任务。