端到端,自动驾驶的大势所趋?
踢车帮
2023-10-31 15:20:48
0

原标题:端到端,自动驾驶的大势所趋?

自动驾驶底层逻辑陡然转向,端到端结构为何突然成为兵家必争之地?

长城旗下自动驾驶公司毫末智行联合清华大学智能产业研究院(AIR)举办的自动驾驶公开课,已至第三期。

此前课程,清华智能产业研究院的学者们主要介绍了自动驾驶AI技术基础原理,以及大模型在自动驾驶的应用趋势,包括单车智能自动驾驶、车路协同自动驾驶和高等级智能道路建设等自动驾驶技术发展。

这一次,清华智能产业研究院老师们的分享涉及端到端自动驾驶中AI算法扮演的角色。

端到端架构是近来自动驾驶领域最前沿的技术路线,今年的全球顶级计算机视觉会议CVPR最佳论文奖就颁给了《Planning-oriented Autonomous Driving》(以路径规划为导向的自动驾驶),这是一篇由上海人工智能实验室、武汉大学及商汤科技联合完成的端到端论文。

端到端架构,简言之就是将自动驾驶系统中不同的架构、模块融合成一个完整的统一体,直接完成输入到输出的训练。

早期知名的自动驾驶初创公司,诸如Waymo、Mobileye等就是采用的模块化系统,好处是每个模块建模目标非常明确,可解释性非常好,可以灵活升级。但每个模块的设计和优化都有自己的一套体系,多个模块组合到一起后就不可避免造成误差累积,而随着自动驾驶数据采集量的爆发式增长,终极误差会被放大到惊人的地步。

模块化结构也不利于自动驾驶的商业化落地,每个模块独成体系,也就意味着要求专属的Debuff机制,背后就是庞大规模的研发团队和资金投入,并且还不一定能换回升级迭代的效率。

所以端到端这种单一的超大决策模型应运而生,其最大优势就是结构简单,所有目标都围绕着决策最终目的展开,系统的每一步优化也就是统一可控的。

同时,从输入到最终决策输出,整个过程改用端到端学习后,依赖海量数据的纯数据驱动学习就成为可能。

最后,因为端到端是很多模型在同一个体系下训练,所以不同模块模型的主干能够被共享,这就大大降低了计算工作量。

上海人工智能实验室、武汉大学及商汤科技联合完成的端到端论文,就是重新审视了感知模块和预测模块的关系,提出了注重任务优先级的UniAD架构,将自动驾驶任务集成进统一的网络中。

在清华大学智能产业研究院詹仙园看来,时至今日,端到端自动驾驶已由早期的小决策模型,发展到巨大无比的模型,自动驾驶交互范式随之由在线交互,延伸到完全离线的学习。潘兴博士则认为,AI算法和算力在端到端自动驾驶中会扮演愈加重要的角色。

我们之前有科普过,自动驾驶最基本的输入输出体系分为感知、决策和执行层面,其中尤以感知最为复杂。

例如深度学习系统要识别一个苹果,需要先将苹果标注,系统才能在下一次自主识别出苹果,但苹果是多种多样的,有种类的变化、颜色的变化等等,甚至被切成块状或是被遮挡一部分,都会造成识别困难,对每一种状态进行标注又会指数级增加成本。

使用AI能力进行数据管理检索、自动标注、AIGC仿真数据合成等就成为解局思路,毫末在今年四月发布的自动驾驶生成式大模型DriveGPT雪湖·海若,就是一个基础大模型,使用DriveGPT来构建AI能力。

通过大模型的有效表征,数据具备了可被编辑能力。例如,采集到的原始视频中,没有车辆障碍物,但通过DriveGPT可以将对它们进行粘贴、剪辑、随意旋转,再放进视频当中,从而获得新的仿真合成数据。

除了感知领域的应用,在智能驾驶决策和规划上,大模型在应用中也发挥了很大的价值和作用,DriveGPT使用人驾的用户数据,持续地迭代和学习更好的驾驶行为和决策。

另外,毫末的DriveGPT不仅能够完成轨迹预测、图片合成类的辅助工作,还具备智能的决策能力。潘兴博士表示,“DriveGPT具备输入一段视频可以去预测未来轨迹以及回答驾驶决策过程中问题的能力,可以给出可解释性的决策。”

这意味着,宏观决策和微观行为可以通过模型被联动起来,提高系统的学习和理解维度与效率。随着端到端自动驾驶的来临,毫末会进一步将感知和认知两个模型进行端到端的打通,最终到感知和认知模型合二为一。

数据处理方法论的完善自然意味着数据利用效率的提升,而要把海量的驾驶数据转化为真正的数据资产,就对处理能力提出高纬度要求。

潘兴博士表示,数据智能是整个自动驾驶迭代的核心,这个过程中要积累海量的数据资产,通过AI大模型,可以更好地去管理这些数据资产,而管理这些海量数据,算力自然也是刚需。所以我们可以看到的是,各种超算中心的落地。

大洋彼岸,是特斯拉Dojo超算中心落地,预计2024年可投入使用算力就能达到100Exa-Flops(Exa=10^18)。大陆这边,小鹏自动驾驶算力中心“扶摇”,最高算力600PFLOPS(peta=10^15),毫末搭建了MANA OASIS雪湖•绿洲,最高算力670PFLOPS。

在潘兴博士看来,智算中心的稳定持续运行,也为大模型的迭代和自动驾驶的提升提供了源源不断的动力。端到端的架构层面革新,伴以AI算法和超算中心的工具引入,以数据驱动为主的自动驾驶3.0时代正在拉开序幕。

撰文丨孙小树

相关内容

热门资讯

中国股市:智谱AI爆发潜力,核... 一,智谱AI来了! 上周末,智谱AI推出自主智能体AutoGLM,GLM-4-Voice 能够理解...
重庆汇聚力机器人取得一种板件对... 金融界2024年10月29日消息,国家知识产权局信息显示,重庆汇聚力机器人有限公司取得一项名为“一种...
“龙马”奔腾踏九霄——记神舟十... 当弱水之畔的千年胡杨变幻出金黄绚丽的色彩,巴丹吉林沙漠深处的酒泉卫星发射中心又一次被世人目光聚焦——...
新浪新闻探索大会在京举行 探索... 探索致新之路,共创质变未来。10月28日,由微博、新浪新闻联合主办,清华大学经管学院EMBA倾力支持...
王浩泽:从造火箭到坐火箭 我想... 今天(29日)上午,蔡旭哲、宋令东、王浩泽3名航天员在酒泉卫星发射中心与中外媒体记者集体见面。 王浩...
“龙马组合”来了 神十九乘组亮... 今天(29日)上午,执行神舟十九号载人飞行任务的3名航天员蔡旭哲、宋令东、王浩泽在酒泉卫星发射中心问...
西昌九泰工贸申请一种缠绕装置专... 金融界2024年10月29日消息,国家知识产权局信息显示,西昌九泰工贸有限责任公司申请一项名为“一种...
家电巨头跨界瞄准机器人领域 人... 《电鳗财经》电鳗号/文 随着科技的快速发展,家电企业正纷纷将目光投向了机器人赛道,特别是人形机器人领...
明日出征!神舟十九号航天员乘组... 神舟十九号载人飞行任务新闻发布会今天(29日)上午在酒泉卫星发射中心召开。发言人介绍,经任务总指挥部...
行业沉闷太久?小米要给大家电来... 丁少将/文 大家电领域,多年来品牌格局相对稳定,美的、海尔、格力三巨头在白色家电领域有着压倒性优势,...
苹果出手,正式上线!安卓厂商忙... 作 者丨倪雨晴 编 辑丨张铭心 苹果智能(Apple Intelligence)终于来了。 当地时间...
土壤水分监测站:实现现代农业精... 来源:竞道光电 JD-TS400土壤水分监测站在现代农业管理中发挥着至关重要的作用,它通过实时监测土...
大唐东营取得一种刮板取料机专利... 金融界2024年10月29日消息,国家知识产权局信息显示,大唐东营发电有限公司取得一项名为“一种刮板...
数据要素×工业制造:工业数据加... 数据要素是发展新质生产力的关键生产要素之一。今年,国家数据局等17部门联合印发《“数据要素×”三年行...
富鼎电子科技取得自动分离装置专... 金融界2024年10月29日消息,国家知识产权局信息显示,富鼎电子科技(嘉善)有限公司取得一项名为“...
神十九发射在即 “龙马乘组”是... 央视网消息:经空间站应用与发展阶段飞行任务总指挥部研究决定,瞄准北京时间10月30日凌晨4点27分发...
西安智慧农机市场对接推介活动在... 10月25日,由西安市农机监理与推广总站、西安市农业投资(集团)有限公司主办的中国杨凌农高会西安展团...
马斯克的脑机愿景:价格将比肩苹... 脑机植入公司Neuralink的创始人埃隆·马斯克表示,该公司的创新产品未来可以像苹果手表一样便宜。...
东莞市德隆保取得真空镀膜支架专... 金融界2024年10月29日消息,国家知识产权局信息显示,东莞市德隆保纳米科技有限公司取得一项名为“...
好用又便宜的手机推荐,这三款真... 随着双十一的临近,各大电商平台纷纷推出各类促销活动,其中真我手机作为realme品牌的中文名,凭借其...