早在2019年8月,wamyo曾公布其waymo open dataset(数据集),该公司首席科学家dragomir anguelov当时表示,waymo open dataset是全球最大的自动驾驶多模态语料库。此后,wamyo又为该语料库增加了1060万个2d标签(此前为120万个)。据外媒报道,当地时间3月19日,waymo提供了该语料库的扩展版本,其中增加了800个片段。waymo预计,该语料库可让研究人员更容易从头开始构建安全的自动驾驶模型,而且无需承担自己收集数据的成本。
此外,waymo还宣布发起新型waymo open dataset竞赛,作为竞赛的一部分,会分成5个目标探测和跟踪挑战赛,奖金高达11万美元。获奖者将有机会参加6月14日于西雅图举行的cvpr 2020大会,在waymo的自动驾驶可扩展性研讨会上展示工作成果。(取决于covid-19疫情状况如何发展,waymo还可能会选择其他“合适的开会地点”。)
anguelov在博文中表示:“即使covid-19疫情继续蔓延,我们也会致力于培育一个创新、学习的环境。”他指出,该数据集已经增加了1000多个摄像头标签,而且有滚动快门补偿功能的waymo摄像头模型有了源代码。
waymo open dataset中包含了waymo汽车在亚利桑那州凤凰城、华盛顿柯克兰、加州山景城和旧金山行驶了数百万英里所收集的数据,而且涵盖了在白天夜晚、黎明黄昏、晴天雨天在各种城市和郊区环境下驾驶时收集的数据。数据样本被分成1000个驾驶段,每个驾驶段通过安装在waymo车上的传感器连续捕捉20秒驾驶数据,相当于使用10hz摄像头捕捉20万帧图像,此类摄像头包括5个定制版激光雷达以及5个前置和侧视摄像头。
该语料库还包括经过标记的激光雷达帧以及车辆、行人、骑行者和指示牌图像。waymo表示,摄像头和激光雷达帧已经由内部研发的3d感知模型进行了同步,该模型融合了多个来源的数据,无需人工校准。
waymo open dataset挑战赛包括:
1、2d探测:给定一组摄像头图像,为场景中的物体生成一组2d边界框;
2、2d跟踪:给定一定时间段的摄像头图像,生成一组2d边界框,而且生成物体速度(可选)以及边界框与摄像头帧之间的对应关系;
3、3d探测:给定一张或多张激光雷达距离图像以及相关的摄像头图像,为场景中的物体生成一组3d垂直边界框;
4、3d跟踪:给定一定时间段的激光雷达和摄像头数据,生成一组3d垂直边界框,而且生成物体速度(可选)以及边界框与摄像头帧之间的对应关系;
5、域适应:与3d探测挑战类似,不过waymo会提供新地点的额外数据段,而且只有一个子集有标签。
waymo还会为这5个挑战赛提供现金奖励,奖励方案为第一名15000美元,第二名5000美元,第三名2000美元。
比赛将持续至2020年5月31日,排行榜会一直对提交的参赛作品进行排名。waymo表示,所有提交的参赛作品都将通过自动程序进行评估,参赛者在几分钟内就可收到评分。
根据比赛规则,希望自己获得奖金的参赛者需要许可waymo,使用自己的知识产权。这是此类竞赛的标准操作,获取也反映了自动驾驶汽车行业的残酷本质。最近,waymo筹集了22.5亿美元以扩大运营规模,该公司每年的成本预计为10亿美元左右。不过,据报道,该公司在亚利桑那州凤凰城运营的自动驾驶出租车业务每年只能产生数十万美元的收入。
在waymo更新其数据集之前,lyft也对其自动驾驶汽车研发语料库进行开源。nuscenes、mapillary vistas的街景图、canadian adverse driving conditions(cadc)、kitti移动机器人和自动驾驶研究集、戴姆勒维护和研发的cityscapes数据集、马克斯普朗克研究所信息学以及达姆施塔特视觉推理组(tu darmstadt visual inference group)等其他数据集也被开放。