注意力即全部
Attention Is All You Need
Transformer 用注意力机制构建序列模型,成为后续语言与多模态模型的重要基础。
深度卷积网络将数据、GPU 计算与表示学习结合,为现代视觉研究提供了重要起点。
ImageNet Classification with Deep Convolutional Neural Networks
从这里理解:为什么特征不再只靠人工设计,而可以由神经网络学习。
@misc{krizhevsky2012imagenet,
title = {ImageNet Classification with Deep Convolutional Neural Networks},
author = {Alex Krizhevsky and Ilya Sutskever and Geoffrey E. Hinton},
year = {2012},
url = {https://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html}
}论文与代码版权归原作者;引用及许可请以原始来源为准。
Attention Is All You Need
Transformer 用注意力机制构建序列模型,成为后续语言与多模态模型的重要基础。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
通过掩码语言预训练学习双向表示,再迁移到语言理解任务。
Language Models are Few-Shot Learners
GPT-3 探索大规模自回归模型如何从上下文中的少量示例执行新任务。