LoRA：大语言模型的低秩适配
LoRA: Low-Rank Adaptation of Large Language Models
冻结预训练权重，仅学习低秩更新，以减少适配模型时需要训练的参数。
THE RESEARCH ATLAS
SmolVLA：面向低成本、高效率机器人的视觉—语言—动作模型
紧凑的视觉—语言—动作模型探索更易获得的机器人学习与高效推理流程。
SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics
为什么值得读
与更大 VLA 模型对照，理解数据和系统设计的作用。
引用
@misc{shukor2025smolvla,
title = {SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics},
author = {Mustafa Shukor and Dana Aubakirova and Francesco Capuano and Pepijn Kooijmans and Steven Palma and Adil Zouitine and Michel Aractingi and Caroline Pascal and Martino Russi and Andres Marafioti and Simon Alibert and Matthieu Cord and Thomas Wolf and Remi Cadene},
year = {2025},
eprint = {2506.01844},
archivePrefix = {arXiv},
primaryClass = {cs.LG},
url = {https://arxiv.org/abs/2506.01844}
}论文与代码版权归原作者；引用及许可请以原始来源为准。
相关研究
训练计算最优的大语言模型
Training Compute-Optimal Large Language Models
研究如何在固定训练计算预算下，平衡模型规模与训练数据规模。
FlashAttention：具备 IO 感知能力的快速、内存高效精确注意力
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
通过减少内存访问开销，在保持精确注意力计算的同时提高效率。