自动驾驶最新的研发和落地挑战曝光了:数据存储成本高昂,自动驾驶公司正在想办法“节食”。
这不,谷歌旗下Waymo摊牌了——
现阶段更注重自动驾驶数据的质量,而不是数量。
必须筛选出有保存价值的数据,丢掉没有价值的数据。
其实,这也是在Robotaxi相继落地凤凰城、旧金山后,不得已做出的选择。
很显然越往后发展,数据成本会越大…这对于自动驾驶是新的考验。
更加注重数据质量
对于自动驾驶数据,Waymo定下了明确的要求。
根据最新消息,近日Waymo为负责计算基础设施的团队设置了严格的数据上限。
他们现在只保存新采集的数据,将老的数据删掉,因为与当前的技术、实际情况和各项优先级相比,之前的数据已经过时了。
此外,Waymo公司从上到下都需要配合——各个团队被分配了不同的数据存储限额。
例如,有的团队负责让车辆识别周围的环境(感知) ,有的团队则基于以往的乘坐经历来测试软件更新(评估),这些小组都需要对数据进行取舍。
如果他们选择保留车辆应急突发事件的数据,那么系统就会自动过滤掉其他无关的数据。
Waymo做出这一改变后效果如何?
软件工程师查塔姆透露,他们的“新政”非常奏效,随着Robotaxi车队规模的扩大,他们必须尽快舍弃掉没用的数据。而且他还说,对自动驾驶数据的存储量进行节省,有时能激发创造力,并提供有价值的发现。
举个例子,因为要节省存储量,他们就会思考,下雨和下雪哪个天气状况下的数据,对于他们业务发展来说更重要?
最后他们得出的结果是下雪,一方面是他们现在采集的下雪数据量很有限,另一方面是他们的车辆应对下雨天气处理得更好了,因此不需要再花费过多精力。
而且他们还发现与下雨有关的数据把停车时的数据也都采集来了,他们认为这很没有必要。
事实上,Waymo对待数据的态度,并非一成不变。
最开始十多年前,自动驾驶还是谷歌内部的一个小项目时,要想存储更多的数据并不容易。
在当时,没有明确用途的数据会被他们删掉,例如自动驾驶操作失败的记录。
到了2016年12月,从谷歌独立出来后,Waymo对于数据存储有了更多独立性和自主权。
当时他们大幅增加了数据存储容量,团队对保存的自动驾驶数据也不那么挑剔了。
例如在2019年末,他们开始测试捷豹I-Pace这款Robotaxi时,由于配备了更先进的传感器,生成的数据量也更大了,以至于当时测试车1个小时采集的数据量超过1100GB,足以填满240张DVD光盘。
直到现在,又开始对数据进行节制了。这个从紧到松再到紧的变化过程,根本上反映了Waymo目前的经济状况。
今年年初面临裁员、还收缩了自动驾驶卡车业务,如今随着Robotaxi服务范围的扩大,Waymo这时就需要从各方面来节流。
数据存储就是一个重要切入口。简单举例,英特尔在2016年就估计,每台无人车每天将产生4000GB的数据量,以亚马逊目前的收费标准计算,存储一年的成本约为35万美元(折合人民币约为244万元)。
随着自动驾驶技术的发展,如今的数据存储成本已远远超过了这个数。
其他自动驾驶公司怎么样?
对数据越来越挑剔的,不止谷歌Waymo一家。
通用旗下Cruise表示,在旧金山采集的数据中,只有不到1%的数据被团队认为有用,所以他们现在也不会选择在云端存储所有的数据。
随着车队规模的不断扩大,Cruise正致力于改进其数据存储系统,目的是使自动驾驶落地变得更容易、成本更低。
现代汽车与安波福(Aptiv)合资组建的L4级自动驾驶公司——Motional也存在类似的情况。
据Motional副总裁Balajee Kannan表示,那些罕见的东西和不太寻常的场景会被删除掉,比如道路上的障碍物或带有冲浪板的自行车。更繁忙场景的数据最有可能被保留下来。
除了删除掉没有价值的数据,另外一个办法是对数据进行分级存储,对于那些访问频率较低的冷数据,可以存储在性能合适、成本较低的基础设施之上。
谷歌无人车开创者克里斯·厄姆森(Chris Urmson)创办的Aurora,就用了这样的办法。
他们目前通过使用自动化系统对无人驾驶卡车产生的数据进行分类,而且工程师也会标记关键的数据,例如最近发生的危险事故等,以确保这些数据以常规的方式进行存储。
而那些不常用的数据,每个月都会陆续被转移到较冷的存储区。直到三个月后,才会对大量的数据进行删除。总体来说,只有大约15%的数据位于Aurora最容易访问的存储层。
另外,图森也表示他们会在四年后,将大部分数据转换为冷存储。
总的来说,日后随着自动驾驶技术的提高、传感器数量的增多、车队规模的扩大,数据存储的成本会只增不减。
诚然,自动驾驶公司如果想要降本增效,就必须在节省流量费用、节省存储资源及计算资源上下功夫。
这是新的挑战,也是新的机遇。
文章参考链接:
https://www.wired.com/story/self-driving-cars-are-being-put-on-a-data-diet/
https://baijiahao.baidu.com/s?id=1761056932090741984&wfr=spider&for=pc
“