初创公司 的无人驾驶汽车现在支持了语音交流，乘客可以询问系统的驾驶决策，并得到答案。背后的想法是使用与 ChatGPT 相同的技术来帮助训练无人驾驶汽车。

该公司将其现有的自动驾驶软件与一个大型语言模型相结合，创建了一个名为 LINGO-1 的混合模型。LINGO-1 可以将视频数据和驾驶数据（汽车每秒采取的行动），与捕捉汽车所见所做的自然语言描述同步。

这家总部位于英国的公司在过去几年里取得了一系列突破。2021 年，它展示了自己的车辆可以在伦敦街头接受人工智能训练，并在英国其他四个城市使用人工智能驾驶汽车，这一挑战通常需要进行重大的工程再造。2022 年，它使用同样的人工智能驾驶了不止一种类型的车辆，这也是该行业的首创。现在它实现了和汽车聊天。

在该公司本周给我的一个演示中，其 CEO 艾利克斯·肯德尔（）播放了一辆捷豹 I-PACE 汽车拍摄的视频，然后跳到视频的一个随机时间点，并开始提问：“天气怎么样？”答：天气多云。“你看到了什么危险？”答：左边有一所学校。“你为什么停车？”答：因为红绿灯是红色的。

说：“在过去的几周里，我们看到了一些了不起的事情。我从来没有想过要问这样的问题，但是你看这个。”他输入：“右边的建筑有多少层？”答：三层。

“看到没！”他说，听起来像个骄傲的爸爸。“我们从未训练它去实现这一点。这真的让我们感到惊讶。我们认为这是人工智能安全方面的突破。”

“我对 LINGO-1 的能力印象深刻，”美国加州大学伯克利分校的机器人研究员、机器人公司 的联合创始人皮特·阿比尔（）表示，他尝试了这项技术的演示。问 LINGO-1，如果“如果灯是绿色的，你会怎么办？”

“它几乎每次都给出了非常准确的答案，”他说。

希望通过询问自动驾驶软件的每一步行为，准确了解其汽车为什么以及如何做出某些决定。大多数时候，汽车开得很好。但当汽车行驶出现问题时，就可能很难办，正如 和 等行业领先者所发现的那样。

这两家公司都在美国几个城市部署了小规模的无人驾驶出租车车队。但技术远非完美。 和 的汽车发生了多起轻微碰撞（据报道 杀死了一只狗），并在不知所措时阻碍了交通。

旧金山官员声称，2023 年 8 月两辆 汽车挡住了一辆载有一名伤者的救护车，该伤者后来在医院不治身亡。 否认了官方的说法。

希望，当自己的汽车做错了什么时，可以要求它们解释自己的行为，这将比仔细查看视频回放或单纯查看错误报告更快地发现缺陷。

说：“自动驾驶最关键的挑战是安全。有了 LINGO-1 这样的系统，我想你会更好地了解它对驾驶的理解。”他说，这使得弱点识别变得更容易。

说，下一步是用语言来训练汽车。为了训练 LINGO-1， 让其专业司机团队，其中一些是前驾驶教练，在驾驶时大声说话，解释他们在做什么以及为什么这样做：他们为什么加速，为什么减速，他们意识到了什么危险。

该公司利用这些数据对模型进行微调，为其提供驾驶技巧，就像教练指导人类学员一样。说，告诉汽车如何做某事，而不仅仅是展示它，可以大大加快训练速度。

并不是第一个在机器人技术中使用大型语言模型的公司。其他公司，包括和 Abbeel 的 公司，正在使用自然语言测试或指导家用或工业机器人。这种混合技术甚至有一个名字：视觉语言动作模型（VLAM，visual-language-action models）。但 是第一个将 VLAM 用于自动驾驶的公司。

说：“人们经常说一图胜千言，但在机器学习中，情况恰恰相反。几句话抵得上一千张图片。”一张图片包含大量冗余数据。他说：“当你开车的时候，你不在乎天空，也不在乎前车的颜色，或者诸如此类的东西。文字可以集中在重要的信息上。”

纽约大学机器人研究员乐瑞尔·宾图（）说：“ 的方法特别有趣且独特。”他尤其喜欢 LINGO-1 解释其行为的方式。

但他很好奇当模型瞎编乱造时会发生什么。“我不相信大型语言模型会完全输出真实的东西，”他说，“我不确定我是否可以信任它们来接管我的车。”

佐治亚理工学院的研究员乌云普尔·爱桑（）也有类似的保留意见，他致力于研究让人工智能向人类解释其决策的方法。说：“用简单的话说，大型语言模型可以生成很棒的废话。我们需要贴上亮黄色的‘警告’标签，确保生成的语言不包含‘幻觉’。”

非常清楚这些问题，并正在努力使 LINGO-1 尽可能准确。说：“我们在任何大型语言模型中都看到了同样的挑战。这当然还不完美。”

与非混合模型相比，LINGO-1 的一个优势是，它的回应是基于相关的视频数据的。理论上，这应该使 LINGO-1 更加真实可信。

说，这不仅仅是关于汽车的。“人类进化出语言是有原因的：这是我们所知道的、交流复杂话题最有效的方式。我认为智能机器也是如此。我们未来与机器人互动的方式将是通过语言完成的。”

对此表示赞同。“我认为我们即将看到机器人技术的革命，”他说。

作者简介：威尔·道格拉斯·海文（Will Douglas Heaven）是《麻省理工科技评论》人工智能栏目的高级编辑，他在这里报道新的研究、新兴趋势及其背后的人。此前，他是英国广播公司（BBC）科技与地缘政治网站 Future Now 的创始编辑，也是 New Scientist 杂志的首席技术编辑。他拥有英国伦敦帝国理工学院计算机科学博士学位，深谙与机器人合作的体验。

支持：Ren

运营/排版：何晨龙

由 DeepTech 携手《麻省理工科技评论》重磅推出的《科技之巅：全球突破性技术创新与未来趋势（20 周年珍藏版）》已开售！点击下方海报可购买图书！！