EMMA:面向自动驾驶的端到端多模态模型
EMMA: End-to-End Multimodal Model for Autonomous Driving
以 Gemini 为基础,从摄像头输入与文本描述预测驾驶轨迹、感知对象和道路结构。
以驾驶规划为目标统一感知、预测与规划任务,通过查询接口协调任务之间的信息。
Planning-oriented Autonomous Driving
与 EMMA 对照:一个从驾驶任务栈出发,一个从通用多模态模型出发,两者如何定义端到端学习?
提供从专用驾驶系统理解多任务表示与规划的入口;与 EMMA 的连线是本站的对照阅读建议。
初次公开日期为 2022 年,会议年份为 2023 年。基准规划结果不能直接等同于开放道路的安全性。
沿着这些连接继续阅读 ↗@misc{hu2022planning,
title = {Planning-oriented Autonomous Driving},
author = {Yihan Hu and Jiazhi Yang and Li Chen and Keyu Li and Chonghao Sima and Xizhou Zhu and Siqi Chai and Senyao Du and Tianwei Lin and Wenhai Wang and Lewei Lu and Xiaosong Jia and Qiang Liu and Jifeng Dai and Yu Qiao and Hongyang Li},
year = {2022},
eprint = {2212.10156},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
url = {https://arxiv.org/abs/2212.10156}
}论文与代码版权归原作者;引用及许可请以原始来源为准。
EMMA: End-to-End Multimodal Model for Autonomous Driving
以 Gemini 为基础,从摄像头输入与文本描述预测驾驶轨迹、感知对象和道路结构。
Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail
以 Cosmos-Reason 与扩散轨迹解码器连接驾驶推理和动作预测,并研究推理与行动的一致性。
GAIA-1: A Generative World Model for Autonomous Driving
将视频、文字与车辆动作映射为序列,生成受条件控制的驾驶场景与可能的未来。