基于深度卷积神经网络的 ImageNet 分类
ImageNet Classification with Deep Convolutional Neural Networks
深度卷积网络将数据、GPU 计算与表示学习结合，为现代视觉研究提供了重要起点。
THE RESEARCH ATLAS
Mixtral：稀疏专家混合语言模型
使用稀疏专家混合结构，研究激活参数与模型容量之间的关系。
Mixtral of Experts
为什么值得读
理解稀疏激活为何对推理效率与扩展模型能力重要。
引用
@misc{jiang2024mixtral,
title = {Mixtral of Experts},
author = {Albert Q. Jiang and Alexandre Sablayrolles and Antoine Roux and Arthur Mensch and Blanche Savary and Chris Bamford and Devendra Singh Chaplot and Diego de las Casas and Emma Bou Hanna and Florian Bressand and Gianna Lengyel and Guillaume Bour and Guillaume Lample and Lélio Renard Lavaud and Lucile Saulnier and Marie-Anne Lachaux and Pierre Stock and Sandeep Subramanian and Sophia Yang and Szymon Antoniak and Teven Le Scao and Théophile Gervet and Thibaut Lavril and Thomas Wang and Timothée Lacroix and William El Sayed},
year = {2024},
eprint = {2401.04088},
archivePrefix = {arXiv},
primaryClass = {cs.LG},
url = {https://arxiv.org/abs/2401.04088}
}论文与代码版权归原作者；引用及许可请以原始来源为准。
相关研究
注意力即全部
Attention Is All You Need
Transformer 用注意力机制构建序列模型，成为后续语言与多模态模型的重要基础。
BERT：面向语言理解的深度双向 Transformer 预训练
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
通过掩码语言预训练学习双向表示，再迁移到语言理解任务。