THE RESEARCH ATLAS

模型训练与效率论文

高效注意力、低秩适配、稀疏专家和推理优化。把训练成本、内存开销与最终任务质量放在一起比较。

2026-10-19 · OpenAI · 官方研究文章机构所在地 · OpenAI 🇺🇸 美国

低资源编程语言的模型能力研究

Advancing coding in low-resource programming languages

官方介绍如何改善训练资料较少的编程语言上的模型能力。

2026-10-16 · Anthropic · 官方研究文章机构所在地 · Anthropic 🇺🇸 美国

通过自我评估扩展滥用检测

Scaling Misuse Detection with Self-Assessment

模型在回答后评估当前对话,复用上下文缓存,作为多层滥用检测的一环。

2026-10-11 · Deep Robotics · 研究论文署名机构 · Zhejiang University / DEEP Robotics 🇨🇳 中国

PointWalker:直接从激光雷达原始点云学习无地图四足运动

PointWalker: Mapless Quadruped Locomotion Directly From Raw LiDAR Point Clouds

通过注意力机制融合激光雷达点云与机器人自身状态,以强化学习策略连接地形感知和四足运动。

2026-09-10 · DeepSeek · 官方研究文章机构所在地 · DeepSeek 🇨🇳 中国

DeepSeek-V4.1-Flash:更智能、更快速、更高效

DeepSeek-V4.1-Flash: smarter, faster, more efficient

官方介绍非对称因果编码器—解码器架构,并提供技术报告及模型资源入口。

2026-03 · Qwen · 技术报告机构所在地 · Alibaba Qwen 🇨🇳 中国

Qwen3-Coder-Next 技术报告

Qwen3-Coder-Next Technical Report

面向编程智能体的开放权重模型,探索较少激活参数与强化训练配方的结合。

2026-01 · Qwen · 技术报告机构所在地 · Alibaba Qwen 🇨🇳 中国

Qwen3-ASR 技术报告

Qwen3-ASR Technical Report

语音识别家族与强制对齐模型面向多语言转录和时间戳预测。

2025-12 · DeepSeek · 技术报告机构所在地 · DeepSeek 🇨🇳 中国

DeepSeek-V3.2:推进开放大语言模型的前沿

DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models

结合稀疏注意力与后训练方法,改进效率、推理及面向智能体的行为。

2025-08 · OpenAI · 模型卡机构所在地 · OpenAI 🇺🇸 美国

gpt-oss-120b 与 gpt-oss-20b 模型卡

gpt-oss-120b & gpt-oss-20b Model Card

从架构、训练、能力与安全评估等方面介绍开放权重推理模型。

2025-06 · Hugging Face · 研究论文署名地域待核实 · Hugging Face ◌ 署名地域待核实

SmolVLA:面向低成本、高效率机器人的视觉—语言—动作模型

SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics

紧凑的视觉—语言—动作模型探索更易获得的机器人学习与高效推理流程。

2025-05 · Qwen · 技术报告机构所在地 · Alibaba Qwen 🇨🇳 中国

Qwen3 技术报告

Qwen3 Technical Report

稠密与混合专家模型结合思考、非思考模式,探索可调节的推理计算。

2024-12 · DeepSeek · 技术报告机构所在地 · DeepSeek 🇨🇳 中国

DeepSeek-V3 技术报告

DeepSeek-V3 Technical Report

混合专家模型结合潜在注意力、多 Token 预测等架构与训练效率技术。

2024-01-08 · Mistral AI · 研究论文机构所在地 · Mistral AI 🇫🇷 法国

Mixtral:稀疏专家混合语言模型

Mixtral of Experts

使用稀疏专家混合结构,研究激活参数与模型容量之间的关系。

2023-05 · Academic · 研究论文署名机构 · Stanford University 🇺🇸 美国

直接偏好优化:你的语言模型其实也是奖励模型

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

通过偏好优化目标直接训练语言模型,省去单独训练奖励模型的阶段。

2022-05 · Academic · 研究论文署名机构 · Stanford University / University at Buffalo 🇺🇸 美国

FlashAttention:具备 IO 感知能力的快速、内存高效精确注意力

FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

通过减少内存访问开销,在保持精确注意力计算的同时提高效率。

2022-03 · Google · 研究论文署名机构 · DeepMind 🇬🇧 英国

训练计算最优的大语言模型

Training Compute-Optimal Large Language Models

研究如何在固定训练计算预算下,平衡模型规模与训练数据规模。

2021-06 · Microsoft · 研究论文署名机构 · Microsoft / Carnegie Mellon University 🇺🇸 美国

LoRA:大语言模型的低秩适配

LoRA: Low-Rank Adaptation of Large Language Models

冻结预训练权重,仅学习低秩更新,以减少适配模型时需要训练的参数。

研究该主题的机构

括号内是该机构在本索引中带此主题的记录数。