华为云EI服务产品部总裁尤鹏:数据闭环是实现高阶自动驾驶的必由之路
由中国电动汽车百人会主办,清华大学、中国汽车工程学会、中国汽车工业协会、中国汽车技术研究中心、中国汽车工程研究院共同协办的中国电动汽车百人会论坛于3月31日在京开幕。
本届论坛为期三天,以“推进中国汽车产业现代化”为主题,共设有2场全体会议、9场开放专题论坛和4场闭门会议。4月2日的市场消费论坛上华为云EI服务产品部总裁尤鹏在演讲中表示,自动驾驶的数据闭环是我们实现高阶自动驾驶的必由之路,我们也看到,包括我们讲的corner case,包括对于场景化大数据的高速的快速的优化模型成为技术迭代的关键。另外就是数据如何高效的流动,所以我们看到不管是数据的预处理、标注、模型的训练、评估、到最后的上车发布包括车上的存储,这些都是我们华为云致力于提供支撑使能主机厂和自动驾驶的解决方案,要解决的问题。
以下为演讲实录:
华为云EI服务产品部总裁 尤鹏
尊敬的各位领导、各位来宾、非常荣幸有这个机会来参与演讲和分享。我是来自华为云EI服务产品部,简单来说就是我负责的是大数据与人工智能这条产品线,那么华为云其实这么多年以来一直致力于提供基础设施服务和我们所谓的高阶服务,所以我所在的产品线主要是负责为我们的主机厂、自动驾驶公司提供大数据以及AI的基础平台解决方案。华为云的愿景是致力于提供千行百业数字化的底座,所以我今天演讲的题目是“人工智能技术加速智能驾驶量产车的数据迭代”这个名字有点长,大家稍微断一下就是我们通过技术来加速智能驾驶的数据迭代,所以我会比较聚焦于给大家分享我们在大数据和人工智能方面为我们的自动驾驶、我们的智能驾驶解决方案提供了什么样的助力。
这个挑战也很清楚,大家都很清楚,我们简单来说其实海量的数据产生智能,数据量越大我们智能驾驶的水平会越高,所以在整个自动驾驶领域,我们的海量数据的管理,我们的完备度,特别是算力的紧张和突发性以及整个核心和安全方面,整个华为云大数据与人工智能产品线都有相应的解决方案。
自动驾驶的数据闭环是我们实现高阶自动驾驶的必由之路,我们也看到,包括我们讲的corner case,包括对于场景化大数据的高速的快速的优化模型成为技术迭代的关键。另外就是数据如何高效的流动,所以我们看到不管是数据的预处理、标注、模型的训练、评估、到最后的上车发布包括车上的存储,这些都是我们华为云致力于提供支撑使能主机厂和自动驾驶的解决方案,要解决的问题。
我们提供了三层加速方案包括训练的加速、包括数据的加速包括整个算力的加速,我们通过三层加速方案使能我们自动驾驶的算法能够高效的被训练、被推理同时包括整个数据端到端的闭环。
简单看一下,我们这儿有几个例子,从最下面来看,从我们的数据加载加速DataTurbo,模型训练加速TrainTurbo,推理加速DL engine就是深度学习,都能够使能我们自动驾驶的算法高效的被生产和运营出来,我们上面也看到了,从L1、L2、L3、L4在每一个算子上面都提供了加速的能力。
我们刚才讲的DataTurbo,边读边训,其实整个自动驾驶数据量是非常大的,每辆车可能都有10-100T/天的数据量采集,如何实现数据的高速流转而且不落盘,我们提供了高速的缓存方案,边读边训,断点续训,这样能够避免存储之间的带宽瓶颈,在数据超过100T的时候,我们的加速量格外明显。
另外就是训练和推理的优化,可以看到在这些典型的算法、场景上面,我们的加速性能、加速比可以达到3到4倍的加速。右边可以看到通过一行代码集成到我们的训练代码里去,一行代码就可以实现模型的加速,我们会自动融合一些琐碎的算子,使得我们在同等算力下面通过我们的ModelArts平台能够实现高速的训练和推理,而且华为云还提供了专业的服务,我们可以帮助我们的算法人员去做模型的优化,去做模型的加速,这也是华为云一直讲的,我们要一切皆服务,我们从基础设施到技术平台到我们的专业服务。
这个问题也很显著就是整个数据标注是整个自动驾驶领域准确率、效率、成本最高的一部分,通过这一块我们也认知到这部分的效率问题影响到我们的自动驾驶算法和驾驶等级的提升,所以这一块我们其实也在做一个东西叫预训练的标注大模型,可能会在几个月后会发布,今天我就提前预告一下,我们通过典型的一些场景,语义分割、对象跟踪等等,我们通过海量的预训练、预标注的图片,做这种大模型的技术,使得我们可以进行快速的标注,然后来支撑后续的自动驾驶算法的训练。
另外一个问题就是我们讲的在仿真环节,仿真环节我们的成本也是非常高的,我们通过最新的NeRF技术,只需要几个简单的图片就可以生成、重建多个场景,不管是新的场景,包括异物场景、多车道场景,我们同一个场景只采一次,后面我们可以获得不同视角的图像而且是带标注的,这样的话我们也跟一些厂家有合作,所以这一块能够大幅度提升我们仿真环境的效率,降低仿真环境的成本,这一块我们也会发布类似这样的基于NeRF技术的大模型。(视频)这是在仿真环境下面做出来的,通过NeRF技术重建下来的效果。我们在NeRF技术的排名上面,不管是在图象PSNR效果还是渲染速度,可以看到我们在渲染速度方面相较于其他模型有10倍的提升,所以我们还可编辑、多模态、具有很好的泛化性,这是华为一直在技术领域的积累能够给我们自动驾驶场景下的算法和我们效率的提升能够提供帮助的地方。
今天我看倪院士一直在讲的我们端到端的自主可控,包括我们生成的芯片,其实我看到有的伙伴说生成的训练产品是除了GPU之外唯一有商用能力的芯片,这一块其实我们也保证了整个自动驾驶产业有源源不断的AI的算力可用,包括我们在同等条件下我们的算力能够提升30%到100%。我们看到整个基于昇腾的软件栈有很好的支持,从芯片到开发接口到计算框架再到上面的AI平台我们是端到端的全栈自主可控国产化。我们也支持了在最上面ModelArts,除了刚才讲的三个加速之外,我们还支持了非常丰富的AI的框架,而且我们覆盖了90%以上的GPU的算子,大概有1400多个,同时我们还支持了900多类模型的预制、优化,使得我们自动驾驶领域的一些模型可以方便的迁移到昇腾的架构上去,所以大家不用担心算子的快速迁移的问题。
同时我们针对场景算法进行了深度的优化,实现了业界最佳的性能,包括自动驾驶领域,我们差不多有整体性能提升30%,在AIGC领域整体性能提升33%,另外在预训练大模型领域,不管是GPT还是T5,整体的基于ModelArts的性能都提升了很多,基于整个端到端从芯片到算子层面,到整个训练框架都实现了全栈自主可控,而且做了自动驾驶场景的算法和模型的优化,可以提升我们的算力效率。
面向整个自动驾驶的解决方案,华为云提供了“1+3+M+N”的解决方案,这是我们整个算力体系,所谓的“1”就是我们打造了一张全球车用的存算网,所以有很多全球车企在海外的布局,我们也覆盖了全球的区域包括29个区域75个可用区,这有什么好处呢,就是我们在国内使用了华为云的架构,在海外可以无缝使用华为当地的基础设施,我们的架构是统一的,我们软件算法的架构不需要再做迁移,可以直接复用华为云的一套架构,而且我们在海外,因为华为30年一直当地的数据安全合规的能力,所以我们在海外的数据处理、海外算法的训练都是当地合规的,所以我们有跟多跨国车厂,很多跨国车厂都采用华为云一张车用存算网的架构。
第二是三大汽车专区,从乌兰察布到贵安、芜湖我们打造了核心汽车自动驾驶包括车联网的算力专区。
第三是我们结合运营商一起在国内也提供了北、上、广、深城市建立了分布式车联网节点,支持车联网数据高效上云,而且我们的算力延迟在30毫秒以内。
最后一点是我们建立了N个(50多个)汽车专用数据接入点,我们实现24小时以内自动驾驶的数据可以高速的接入到我们的算力网络。这是我们整个华为云为智能驾驶解决方案所打造的1+3+M+N的专业合规的传输存储计算和合规的基础设施算力网络。
我的分享就到这里,谢谢大家!
评论