Waymo利用谷歌Gemini 开发端到端自动驾驶模型
IT之家 10 月 31 日消息,用谷自动驾驶公司 Waymo 长期以来一直将与谷歌 DeepMind 的发端联系及其数十年的 AI 研究视为其在自动驾驶领域超越竞争对手的战略优势。现在这家 Alphabet 旗下的到端公司更进一步,为其机器人出租车开发一种基于谷歌多模态大语言模型(MLLM)“Gemini”的自动新训练模型。
Waymo 今天发布了一篇新的驾驶研究论文,介绍了一种名为“端到端多模态自动驾驶模型”(EMMA)的模型新模型。这种新的用谷端到端训练模型能够处理传感器数据,生成“自动驾驶车辆的发端未来轨迹”,帮助 Waymo 的到端无人驾驶车辆做出关于去哪里以及如何避开障碍物的决策。
但更重要的自动是,这是驾驶首次有迹象表明,自动驾驶领域的模型领导者计划将 MLLM 应用于其业务。这意味着 MLLM 可能不仅仅局限于聊天机器人、用谷电子邮件组织者和图像生成器等领域,发端而是到端可以扩展到自动驾驶领域。
在研究中 Waymo 提出,传统的自动驾驶系统通常会为感知、映射、预测和规划等各种功能开发特定的“模块”。虽然这种方法在过去多年中效果显著,但也存在可扩展性问题,主要是由于模块间的误差积累和通信有限。此外,这些模块由于是“预定义”的,因此面对“新环境”时适应能力较差。
Waymo 认为,像 Gemini 这样的 MLLM 可以解决这些问题。首先,这些模型是经过大量互联网数据训练的“通才”,能提供超出常规驾驶记录的丰富“世界知识”;其次,它们通过“链式推理”等技术展现出“卓越”的推理能力,能够将复杂任务分解为一系列逻辑步骤,模仿人类的思维方式。
Waymo 表示,EMMA 模型在帮助机器人出租车应对复杂环境方面表现良好。例如,当遇到各种动物或道路施工时,EMMA能够帮助无人驾驶汽车找到合适的行驶路线。
据悉,特斯拉等其他公司也在大力开发其自动驾驶汽车的端到端模型。特斯拉首席执行官埃隆・马斯克声称,最新版本的 FSD12.5.5 采用了“端到端神经网络”人工智能系统,将摄像头图像转换为驾驶决策。
这表明,在部署真正的无人驾驶车辆方面领先于特斯拉的 Waymo 也对追求端到端系统感兴趣。该公司表示,其 EMMA 模型在轨迹预测、物体检测和道路图理解方面表现出色。
但 EMMA 也有其局限性,Waymo 承认,在将该模型投入实践之前,还需要进行未来的研究。例如,EMMA 无法整合来自激光雷达或雷达的 3D 传感器输入,Waymo 表示这是因为“计算开销太高”,并且一次只能处理少量图像帧。
研究论文中未提及的另一个风险是,像 Gemini 这样的 MLLM 会存在“幻觉”,而无人驾驶汽车的容错率非常有限。因此,在这些模型能够大规模部署之前,还需要进行更多研究。
(责任编辑:娱乐)
-
12月23日讯在两名核心外援巴尔加斯、奥斯卡大概率都将离开海港后,记者陈华在社媒对此进行了点评,他认为海港俱乐部在合同管理、续约操作上有点托大。陈华在社媒发文写道:根据巴西媒体的信息,海港队大概率同时 ...[详细]
-
法医真人互动影游《重返现场》全新预告,沉浸式体验审讯罪犯现场!
一起密室杀人事件,让握有重要线索的关键人物死于非命。现场疑点重重,难以破局。怎么找到突破点,推进神秘人强塞进来的“侦探游戏”?当然是一对一的现场高压审讯!《重返现场:真人版》,一款有烧脑,有挑战,有滋 ...[详细] -
哈兰德本场进球↓ ...[详细]
-
[流言板]得分新高!布朗尼全场15中6,得到16分4篮板2助攻1盖帽
[流言板]得分新高!布朗尼全场15中6,得到16分4篮板2助攻1盖帽由篮球资讯发表在篮球资讯 50212月08日讯 NBAG联赛,南湾湖人119-111战胜圣地哥快船。湖人球员布朗尼全场15中6,三分 ...[详细] -
[流言板]库里谈克莱接近三分榜里程碑:时间过得真快啊由篮球资讯发表在篮球资讯 50212月17日讯 美媒Clutch Points更新动态,转发了库里接受采访时的内容。当被告知克莱-汤普森在三分榜上即 ...[详细]
-
近日,美国男子来中国武当山习武14年,从一头金发变成黑发一事引发关注。对此,当事人杰克对媒体回应称,可能与食物、生活环境有关。据悉,杰克20岁来到中国,如今是三丰派第十六代传人。据报道,14年前,杰克 ...[详细]
-
12月7日讯 在亚特兰大2-1击败米兰后,进球功臣德凯特拉雷接受了天空体育的赛后采访。关于进球“对手在抗议,但是我觉得我起跳的时候,手的位置就在那里,这绝对不是犯规。”“我对阵老东家打进了1球,我很高 ...[详细]
-
比Model 3还便宜!特斯拉计划明年发布Model Q:售价低于3万美元
12月8日消息,据报道,日前,在德银举办的特斯拉投资者关系负责人Travis Axelrod的投资者会议上,特斯拉方面表示,计划在明年上半年推出名为“Model Q”的新车型, ...[详细] -
莫拉蒂:我收购国米被妻子赶出门,我解释说国米球迷正活在痛苦中
12月23日讯 不久前,国米前主席莫拉蒂接受了《Quotidiano Sportivo》报纸的采访,谈到了自己在1995年收购国米时曾经与妻子发生争执。莫拉蒂透露:“我曾经跟妻子承诺过,我不会去收购国 ...[详细] -
直播吧12月8日讯 本轮德甲,拜仁主场4-2战胜海登海姆。赛后,《图片报》报道科曼和穆勒的伤情。德媒表示,科曼在比赛中肌肉拉伤,可能会缺席今年最后三场比赛。穆勒则是无大碍,球员自己表示能够赶上下周中对 ...[详细]