官方致谢注明代码来源;不据此推断权重或全部能力的继承。
从模型到世界.
机器人、自动驾驶与世界模型:沿着有出处的关系,阅读通用智能与物理系统的交汇。
从理解到动作
多模态知识进入机器人,感知与控制也沿自己的路线演进。
从推理到驾驶
通用模型与驾驶任务栈,如何走向同一个行动问题?
从生成到世界
预测下一帧、可能的未来,还是可用于决策的环境?
理解、身体与控制
宇树官方仓库注明项目建立在这两项工作之上。
PPO 与点云注意力连接到四足运动策略,不依赖语言对话界面。
道路上的推理与行动
Waymo 明确将 EMMA 建立在 Gemini 之上。
原始 R1 架构将物理推理模型与扩散轨迹解码器结合。
本站建议对照专用任务栈与通用模型迁移,而非宣称继承。
对照机器人动作与驾驶轨迹如何用语言空间表示;不把两种任务的评估混为一谈。
生成未来,检验世界
都研究条件化的未来生成;此线不是代码或模型继承关系。
研究关系不是能力排名。仿真、真实硬件实验与商业部署是不同层次的证据。
从这些研究开始
PointWalker:直接从激光雷达原始点云学习无地图四足运动
PointWalker: Mapless Quadruped Locomotion Directly From Raw LiDAR Point Clouds
通过注意力机制融合激光雷达点云与机器人自身状态,以强化学习策略连接地形感知和四足运动。
UnifoLM-WLA-1.0:单一模型驱动的全身协调
UnifoLM-WLA-1.0: One Model Driven, Whole-Body Coordination
将具身理解、交互世界建模与动作学习放入通用人形机器人框架,覆盖桌面和全身操作。
小鹏 X-World:面向自动驾驶的可控多视角生成式世界模型
XPeng X-World: Controllable Multi-View Generative World Model for Autonomous Driving
使用多视角生成式世界模型,为自动驾驶闭环仿真、场景生成和模型验证提供支持。
Kimi K2.5:视觉智能体能力与多模态训练
Kimi K2.5: Visual Agentic Intelligence
探索文本与视觉的联合训练,以及多智能体任务分解能力。
UnifoLM-VLA-0:面向人形机器人操作的视觉—语言—动作框架
UnifoLM-VLA-0: A Vision-Language-Action (VLA) Framework under UnifoLM Family
以机器人操作数据继续训练视觉—语言模型,将指令与空间理解连接到动作预测。
Alpamayo-R1:连接推理与动作预测,应对自动驾驶长尾场景
Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail
以 Cosmos-Reason 与扩散轨迹解码器连接驾驶推理和动作预测,并研究推理与行动的一致性。
华为乾崑智驾 ADS 4:世界引擎与世界行为模型
Huawei Qiankun ADS 4: World Engine and World Behavior Model (WEWA)
官方发布 WEWA 架构,将云端生成式场景与车端世界行为模型连接到自动驾驶系统。
Cosmos:面向物理 AI 的世界基础模型平台
Cosmos World Foundation Model Platform for Physical AI
围绕视频处理、Tokenizer、预训练世界模型与后训练,构建可面向机器人和驾驶任务定制的世界模型平台。
EMMA:面向自动驾驶的端到端多模态模型
EMMA: End-to-End Multimodal Model for Autonomous Driving
以 Gemini 为基础,从摄像头输入与文本描述预测驾驶轨迹、感知对象和道路结构。
SAM 2:图像与视频的通用分割
SAM 2: Segment Anything in Images and Videos
把可提示分割从单幅图像扩展到视频,使用流式记忆与交互式数据采集。
Mixtral:稀疏专家混合语言模型
Mixtral of Experts
使用稀疏专家混合结构,研究激活参数与模型容量之间的关系。
GAIA-1:面向自动驾驶的生成式世界模型
GAIA-1: A Generative World Model for Autonomous Driving
将视频、文字与车辆动作映射为序列,生成受条件控制的驾驶场景与可能的未来。
UniAD:以规划为导向的自动驾驶
Planning-oriented Autonomous Driving
以驾驶规划为目标统一感知、预测与规划任务,通过查询接口协调任务之间的信息。
ApolloScape:自动驾驶开放数据集及其应用
The ApolloScape Open Dataset for Autonomous Driving and its Application
为自动驾驶的多传感器融合、语义理解与定位研究建立开放数据集和研究基准。