THE RESEARCH ATLAS

RT-2:视觉—语言—动作模型将网络知识迁移至机器人控制

让视觉语言模型输出机器人动作,探索网络规模学习向机器人控制的迁移。

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

Anthony Brohan et al.
2023-07 · Google · 研究论文
来源核查: 2026-10-24跨国研究机构 · Google / Google DeepMind 🇺🇸 美国 · 🇬🇧 英国
机构与地域来源

地域依据是署名机构或发布机构所在地,不代表作者国籍或完整合作名单。

arxiv.org ↗

deepmind.google ↗

为什么值得读

重点关注动作表示怎样连接语言模型与机器人执行。

阅读原始来源 ↗原始 PDF ↗

引用

@misc{brohan2023vision,
  title = {RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control},
  author = {Anthony Brohan and Noah Brown and Justice Carbajal and Yevgen Chebotar and Xi Chen and Krzysztof Choromanski and Tianli Ding and Danny Driess and Avinava Dubey and Chelsea Finn and Pete Florence and Chuyuan Fu and Montse Gonzalez Arenas and Keerthana Gopalakrishnan and Kehang Han and Karol Hausman and Alexander Herzog and Jasmine Hsu and Brian Ichter and Alex Irpan and Nikhil Joshi and Ryan Julian and Dmitry Kalashnikov and Yuheng Kuang and Isabel Leal and Lisa Lee and Tsang-Wei Edward Lee and Sergey Levine and Yao Lu and Henryk Michalewski and Igor Mordatch and Karl Pertsch and Kanishka Rao and Krista Reymann and Michael Ryoo and Grecia Salazar and Pannag Sanketi and Pierre Sermanet and Jaspiar Singh and Anikait Singh and Radu Soricut and Huong Tran and Vincent Vanhoucke and Quan Vuong and Ayzaan Wahid and Stefan Welker and Paul Wohlhart and Jialin Wu and Fei Xia and Ted Xiao and Peng Xu and Sichun Xu and Tianhe Yu and Brianna Zitkovich},
  year = {2023},
  eprint = {2307.15818},
  archivePrefix = {arXiv},
  primaryClass = {cs.RO},
  url = {https://arxiv.org/abs/2307.15818}
}

论文与代码版权归原作者;引用及许可请以原始来源为准。

相关研究

2012 · Academic · 研究论文署名机构 · University of Toronto 🇨🇦 加拿大

基于深度卷积神经网络的 ImageNet 分类

ImageNet Classification with Deep Convolutional Neural Networks

深度卷积网络将数据、GPU 计算与表示学习结合,为现代视觉研究提供了重要起点。

2020-06 · Academic · 研究论文署名机构 · UC Berkeley 🇺🇸 美国

去噪扩散概率模型

Denoising Diffusion Probabilistic Models

模型学习逐步反转加噪过程,为图像生成建立了重要的扩散建模路线。

2021-02 · OpenAI · 研究论文署名机构 · OpenAI 🇺🇸 美国

从自然语言监督中学习可迁移的视觉模型

Learning Transferable Visual Models From Natural Language Supervision

通过对比学习对齐图像与自然语言描述,使视觉表示能够迁移到新类别。