基于深度卷积神经网络的 ImageNet 分类
ImageNet Classification with Deep Convolutional Neural Networks
深度卷积网络将数据、GPU 计算与表示学习结合，为现代视觉研究提供了重要起点。
THE RESEARCH ATLAS
LoRA：大语言模型的低秩适配
冻结预训练权重，仅学习低秩更新，以减少适配模型时需要训练的参数。
LoRA: Low-Rank Adaptation of Large Language Models
为什么值得读
设计参数高效微调流程前值得优先阅读。
引用
@misc{hu2021lora,
title = {LoRA: Low-Rank Adaptation of Large Language Models},
author = {Edward J. Hu and Yelong Shen and Phillip Wallis and Zeyuan Allen-Zhu and Yuanzhi Li and Shean Wang and Lu Wang and Weizhu Chen},
year = {2021},
eprint = {2106.09685},
archivePrefix = {arXiv},
primaryClass = {cs.CL},
url = {https://arxiv.org/abs/2106.09685}
}论文与代码版权归原作者；引用及许可请以原始来源为准。
相关研究
注意力即全部
Attention Is All You Need
Transformer 用注意力机制构建序列模型，成为后续语言与多模态模型的重要基础。
BERT：面向语言理解的深度双向 Transformer 预训练
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
通过掩码语言预训练学习双向表示，再迁移到语言理解任务。