基于深度卷积神经网络的 ImageNet 分类
ImageNet Classification with Deep Convolutional Neural Networks
深度卷积网络将数据、GPU 计算与表示学习结合，为现代视觉研究提供了重要起点。
THE RESEARCH ATLAS
FlashAttention：具备 IO 感知能力的快速、内存高效精确注意力
通过减少内存访问开销，在保持精确注意力计算的同时提高效率。
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
为什么值得读
理解为什么硬件感知算法与模型架构同样重要。
引用
@misc{dao2022flashattention,
title = {FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness},
author = {Tri Dao and Daniel Y. Fu and Stefano Ermon and Atri Rudra and Christopher Ré},
year = {2022},
eprint = {2205.14135},
archivePrefix = {arXiv},
primaryClass = {cs.LG},
url = {https://arxiv.org/abs/2205.14135}
}论文与代码版权归原作者；引用及许可请以原始来源为准。
相关研究
注意力即全部
Attention Is All You Need
Transformer 用注意力机制构建序列模型，成为后续语言与多模态模型的重要基础。
BERT：面向语言理解的深度双向 Transformer 预训练
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
通过掩码语言预训练学习双向表示，再迁移到语言理解任务。