THE RESEARCH ATLAS

多模态 AI 论文

连接语言、图像、语音与视频。关注跨模态表示、生成系统及其评测,而不是把所有模态压成一个排名。

2026-10-13 · Google · 模型卡跨国研究机构 · Google / Google DeepMind 🇺🇸 美国 · 🇬🇧 英国

Gemini 4 Argon 模型卡

Gemini 4 Argon — Model Card

官方模型资料,记录评测、局限与安全考量。此处日期为官方列出的模型卡更新日期。

2026-10-06 · Google · 模型卡跨国研究机构 · Google / Google DeepMind 🇺🇸 美国 · 🇬🇧 英国

Nano Banana 2.1 模型卡

Nano Banana 2.1 — Model Card

官方图文模型资料,包含输入输出、架构依赖及安全评估。

2026-10 · Academic · 研究论文署名地域待核实 · Academic ◌ 署名地域待核实

FACT:面向人类到机器人灵巧技能迁移的多模态力—动作—轨迹基础模型

FACT: A Multimodal Force-Action-Track Foundation Model for Human-to-Robot Dexterity

结合人类与机器人示范,通过感知交互力的规划研究灵巧操作。

2026-09-28 · Unitree · 官方开源项目机构所在地 · Unitree Robotics 🇨🇳 中国

UnifoLM-WLA-1.0:单一模型驱动的全身协调

UnifoLM-WLA-1.0: One Model Driven, Whole-Body Coordination

将具身理解、交互世界建模与动作学习放入通用人形机器人框架,覆盖桌面和全身操作。

2026-09-21 · Qwen · 技术报告机构所在地 · Alibaba Qwen 🇨🇳 中国

Qwen-Audio-Agent:全双工语音与任务编排

Qwen-Audio-Agent Technical Report

前后台架构将语音交互与异步任务执行分开,协调授权、状态与结果交付。

2026-09-10 · DeepSeek · 官方研究文章机构所在地 · DeepSeek 🇨🇳 中国

DeepSeek-V4.1-Flash:更智能、更快速、更高效

DeepSeek-V4.1-Flash: smarter, faster, more efficient

官方介绍非对称因果编码器—解码器架构,并提供技术报告及模型资源入口。

2026-06-25 · Qwen · 技术报告机构所在地 · Alibaba Qwen 🇨🇳 中国

Qwen-Image-2.0-RL:图像生成的强化学习与蒸馏

Qwen-Image-2.0-RL Technical Report

扩散模型后训练流程结合任务奖励、强化学习与同策略蒸馏。

2026-06-15 · Qwen · 技术报告机构所在地 · Alibaba Qwen 🇨🇳 中国

Qwen-RobotWorld:语言驱动的具身世界模型

Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation

语言条件视频世界模型预测操作、导航和驾驶等场景中的未来视觉轨迹。

2026-04-01 · XPeng · 官方研究文章机构所在地 · XPeng 🇨🇳 中国

小鹏 X-World:面向自动驾驶的可控多视角生成式世界模型

XPeng X-World: Controllable Multi-View Generative World Model for Autonomous Driving

使用多视角生成式世界模型,为自动驾驶闭环仿真、场景生成和模型验证提供支持。

2026-04 · Qwen · 技术报告机构所在地 · Alibaba Qwen 🇨🇳 中国

Qwen3.5-Omni 技术报告

Qwen3.5-Omni Technical Report

报告探索全模态模型家族,以及异构视觉、文本和音频数据的训练。

2026-03 · Academic · 研究论文署名地域待核实 · Academic ◌ 署名地域待核实

UniDex:从第一视角人类视频中学习通用灵巧手控制的机器人基础套件

UniDex: A Robot Foundation Suite for Universal Dexterous Hand Control from Egocentric Human Videos

以数据集、VLA 策略及采集系统,将人类示范连接到不同灵巧手的控制。

2026-02-02 · Kimi · 研究论文机构所在地 · Moonshot AI · Kimi 🇨🇳 中国

Kimi K2.5:视觉智能体能力与多模态训练

Kimi K2.5: Visual Agentic Intelligence

探索文本与视觉的联合训练,以及多智能体任务分解能力。

2026-01-29 · Unitree · 官方开源项目机构所在地 · Unitree Robotics 🇨🇳 中国

UnifoLM-VLA-0:面向人形机器人操作的视觉—语言—动作框架

UnifoLM-VLA-0: A Vision-Language-Action (VLA) Framework under UnifoLM Family

以机器人操作数据继续训练视觉—语言模型,将指令与空间理解连接到动作预测。

2026-01 · Qwen · 技术报告机构所在地 · Alibaba Qwen 🇨🇳 中国

Qwen3-ASR 技术报告

Qwen3-ASR Technical Report

语音识别家族与强制对齐模型面向多语言转录和时间戳预测。

2025-11 · Qwen · 技术报告机构所在地 · Alibaba Qwen 🇨🇳 中国

Qwen3-VL 技术报告

Qwen3-VL Technical Report

Qwen 视觉语言家族在不同规模模型中融合文本、图像与视频理解。

2025-10-30 · NVIDIA · 研究论文机构所在地 · NVIDIA 🇺🇸 美国

Alpamayo-R1:连接推理与动作预测,应对自动驾驶长尾场景

Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail

以 Cosmos-Reason 与扩散轨迹解码器连接驾驶推理和动作预测,并研究推理与行动的一致性。

2025-07 · Google · 技术报告跨国研究机构 · Google / Google DeepMind 🇺🇸 美国 · 🇬🇧 英国

Gemini 2.5:以高级推理、多模态、长上下文和新一代智能体能力推进前沿

Gemini 2.5: Pushing the Frontier with Advanced Reasoning, Multimodality, Long Context, and Next Generation Agentic Capabilities

模型家族报告涵盖推理、多模态输入、长上下文及智能体相关评测。

2025-03 · NVIDIA · 研究论文机构所在地 · NVIDIA 🇺🇸 美国

GR00T N1:面向通用人形机器人的开放基础模型

GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

耦合视觉语言模块与扩散动作模块,把推理和连续机器人动作生成结合。

2025-03 · Google · 技术报告跨国研究机构 · Google / Google DeepMind 🇺🇸 美国 · 🇬🇧 英国

Gemini Robotics:将人工智能带入物理世界

Gemini Robotics: Bringing AI into the Physical World

基于 Gemini 的模型探索机器人操作与具身推理,把多模态理解连接到物理控制。

2025-01-07 · NVIDIA · 技术报告机构所在地 · NVIDIA 🇺🇸 美国

Cosmos:面向物理 AI 的世界基础模型平台

Cosmos World Foundation Model Platform for Physical AI

围绕视频处理、Tokenizer、预训练世界模型与后训练,构建可面向机器人和驾驶任务定制的世界模型平台。

2024-10-30 · Waymo · 研究论文机构所在地 · Waymo 🇺🇸 美国

EMMA:面向自动驾驶的端到端多模态模型

EMMA: End-to-End Multimodal Model for Autonomous Driving

以 Gemini 为基础,从摄像头输入与文本描述预测驾驶轨迹、感知对象和道路结构。

2024-08-01 · Meta FAIR · 研究论文机构所在地 · Meta Fundamental AI Research 🇺🇸 美国

SAM 2:图像与视频的通用分割

SAM 2: Segment Anything in Images and Videos

把可提示分割从单幅图像扩展到视频,使用流式记忆与交互式数据采集。

2024-06 · Academic · 研究论文署名地域待核实 · Academic ◌ 署名地域待核实

OpenVLA:开源视觉—语言—动作模型

OpenVLA: An Open-Source Vision-Language-Action Model

开源视觉—语言—动作模型及适配框架,为通用机器人策略研究提供基础。

2023-09-29 · Wayve · 研究论文机构所在地 · Wayve 🇬🇧 英国

GAIA-1:面向自动驾驶的生成式世界模型

GAIA-1: A Generative World Model for Autonomous Driving

将视频、文字与车辆动作映射为序列,生成受条件控制的驾驶场景与可能的未来。

2023-07 · Google · 研究论文跨国研究机构 · Google / Google DeepMind 🇺🇸 美国 · 🇬🇧 英国

RT-2:视觉—语言—动作模型将网络知识迁移至机器人控制

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

让视觉语言模型输出机器人动作,探索网络规模学习向机器人控制的迁移。

2023-03 · OpenAI · 技术报告机构所在地 · OpenAI 🇺🇸 美国

GPT-4 技术报告

GPT-4 Technical Report

报告介绍 GPT-4 的能力、评测与局限,同时并未公开所有训练细节。

2023-03 · Academic · 研究论文署名地域待核实 · Academic ◌ 署名地域待核实

扩散策略:通过动作扩散学习视觉运动策略

Diffusion Policy: Visuomotor Policy Learning via Action Diffusion

将机器人控制建模为条件动作序列去噪,把扩散模型连接到视觉运动学习。

2021-02 · OpenAI · 研究论文署名机构 · OpenAI 🇺🇸 美国

从自然语言监督中学习可迁移的视觉模型

Learning Transferable Visual Models From Natural Language Supervision

通过对比学习对齐图像与自然语言描述,使视觉表示能够迁移到新类别。

2020-06 · Academic · 研究论文署名机构 · UC Berkeley 🇺🇸 美国

去噪扩散概率模型

Denoising Diffusion Probabilistic Models

模型学习逐步反转加噪过程,为图像生成建立了重要的扩散建模路线。

2018-03-16 · Baidu Apollo · 研究论文机构所在地 · Baidu Apollo 🇨🇳 中国

ApolloScape:自动驾驶开放数据集及其应用

The ApolloScape Open Dataset for Autonomous Driving and its Application

为自动驾驶的多传感器融合、语义理解与定位研究建立开放数据集和研究基准。

2012 · Academic · 研究论文署名机构 · University of Toronto 🇨🇦 加拿大

基于深度卷积神经网络的 ImageNet 分类

ImageNet Classification with Deep Convolutional Neural Networks

深度卷积网络将数据、GPU 计算与表示学习结合,为现代视觉研究提供了重要起点。

研究该主题的机构

括号内是该机构在本索引中带此主题的记录数。