Waymo行使AI天生摄像头图像,用于自动驾驶仿真

扫码链接5000+新基建产业链上下游从业者,入群请备注“基智地+姓名+公司+岗位

日前,Waymo示意开发了新方式SurfelGAN,行使自动驾驶汽车网络的传感器数据,通过AI天生用于仿真的摄像头图像。SurfelGAN使用纹理映射外面元素(surface elements,简称surfel)重修场景和摄像头视角,以获取位置和偏向。

诸如Waymo这样的自动驾驶汽车公司行使仿真环境来训练、测试和验证系统,然后再将系统部署到现实天下的车辆中。设计模拟器有多种方式,但一些基础的模拟器忽略了对于场景明白至关重要的线索,好比行人的手势和闪灼的灯光。而像WaymoCarCraft这样更庞大的模拟器,由于试图对质料举行高度正确的建模,因此需要花费大量的盘算资源,以确保像激光雷达和雷达等传感器在真实天下中可靠地事情。

随着SurfelGAN的推出,Waymo提出了一种更简朴的、数据驱动的方式来模拟传感器数据。SurfelGAN从真实天下的激光雷达传感器和摄像头获取数据,建立并保留场景中所有物体的3D几何、语义和外观的厚实信息。然后,再从差别的距离和视角渲染仿真场景,以举行重修。

Waymo行使AI天生摄像头图像,用于自动驾驶仿真

Waymo谈话人称,“在仿真中,当自动驾驶汽车和其他门路使用者的移动轨迹发生转变时,系统会天生真实的视觉传感器数据,辅助我们在新的环境中建模场景。部门系统正在生产中。”

SurfelGAN行使纹理增强外面元素舆图的场景示意方式,这是一种紧凑、易于组织的场景示意方式,能够在保留传感器信息的同时保持合理的盘算效率。SurfelGAN将激光雷达扫描到的体元(3D空间中界说点的图形信息的单元)转换成外面元素盘(surfel discs),可根据摄像头数据估算颜色,然后对这些元素举行后处置,以处置光线和姿态的转变。

为了处置车辆这类动态物体,SurfelGAN还使用了Waymo Open Dataset中的注释。兴趣物体的激光雷达扫描数据不停积累,以便在仿真中Waymo可以天生汽车和行人的重修。

SurfelGAN中的天生匹敌网络(GAN)模块卖力将外面元素图像渲染转换成真切的图像。其天生器模子从使用漫衍采样的随机噪声中天生合成示例,这些示例连同来自训练数据集的真实示例一起反馈给鉴别器,而鉴别器视图区分这两者。天生器和鉴别器的能力不停提升,直到鉴别器无法区分合成示例和真实示例。

SurfelGAN模块以一种无人羁系的方式举行训练,意味着其在没有参考已知、符号或注释效果的情形下推断语料库中的模式。有趣的是,每当鉴别器正确地识别合成示例时,就会告诉天生器若何调整输出,从而加倍真实。

Waymo举行了一系列测试来评估SurfelGAN的显示,给它输入了798个训练序列,包罗20秒的摄像头数据和激光雷达数据,以及来自Waymo Open Dataset数据集中关于车辆、行人和骑行者的注释。SurfelGAN团队还建立和使用新的数据集Waymo Open Dataset-Novel View,为原始数据中的每一帧建立全新的外面元素图像渲染。

最后,Waymo网络了未注释摄像头图像的分外序列(共9800个,每个100帧),并构建了一个称为双摄像头后数据集(Dual-Camera-Post Dataset,DCP)的语料库,以丈量SurfelGAN天生图像的真实度。DCP可处置两辆车同时考察统一场景的情形;Waymo使用来自第一辆车的数据重修场景,并在第二辆车的正确姿态下渲染外面元素图像。

研究人员称,当SurfelGAN天生的图像提供给现成的车辆探测器时,最高质量的合成图像达到了与真实图像相同的尺度。SurfelGAN还改进了DCP(双摄像头后数据集)中的外面元素渲染,在一定距离内天生更真切的图像。此外,研究人员还证实,SurfelGAN天生的图像还将车辆探测器的平均精度从11.9%提高到13%。

Waymo指出SurfelGAN并不完善。例如,它有时无法从损坏的几何图形中恢复,导致车辆看起来不真实。在没有外面元素信息的情形下,AI显示出了很大的差异。尽管如此,研究人员仍然以为SurfelGAN是未来动态物体建模和视频天生仿真系统的坚实基础。

声明: 本文由入驻基智地平台的作者撰写,观点仅代表作者本人,不代表基智地立场;基智地发布此信息的目的在于传播更多信息,与本站立场无关。