NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

自动驾驶中高精地图的大规模生产:视觉惯导技术在高德的应用

  • 2020-03-04
  • 本文字数:2732 字

    阅读完需:约 9 分钟

自动驾驶中高精地图的大规模生产:视觉惯导技术在高德的应用

导读:导航、驾驶辅助、自动驾驶等技术的不断发展对地图的精细程度提出了更高的要求。常规的道路级地图对于智能交通系统存在很多不足,针对自动驾驶应用的需求,我们提出了利用视觉惯导技术制作高精地图的方法。


本文将首先介绍视觉和惯导的主流设备,视觉惯导融合的框架和关键技术,高德在基于视觉方式生成高精地图道路标志和地面标识要素的计算方案,最后总结了这项技术在高精地图精度上所面临的挑战和未来发展方向。

视觉惯导技术具有广泛前景

高精地图是自动驾驶的核心技术之一,精准的地图对无人车定位、导航与控制,以及安全至关重要。随着自动驾驶的不断发展,越来越多的车企选择和地图供应商合作。高精度地图需要考虑规模和实时的问题,高德能面向不同品牌车型提供大规模的数据服务,在高精地图行业具有领先优势。


目前,高德完成了全国超过 32 万公里高等级道路的高精地图数据,采用了搭配激光雷达采集、图像视觉惯导融合两种方式。


通过图像视觉惯导结合的方式采集数据,一方面能大大降低成本。另一方面,基于图像视觉的高精地图在识别上具有一定优势,能提高车道级别要素作业的效率。因此,这项技术在大规模高精地图生产中具有广泛的前景。



高精地图由高精度的地图要素矢量信息组成,获取这些高精度的地图要素信息,一方面是通过识别视觉图像获取地图要素目标,另一方面通过惯导信息获取车辆高精度的位置和姿态,两方面融合得到对应的矢量地图要素。

视觉惯导硬件工具篇

视觉设备


主流视觉设备按照工作方式的不同,相机可以分为单目相机(Monocular)、双目相机(Stereo)和深度相机(RGB-D)三大类。


单目相机结构简单,成本低,劣势在于照片是三维到二维的映射平面,缺少深度信息,无法通过单张图片来计算场景中物体与我们之间的距离,只有运动才能估计深度。


双目相机由两个单目相机组成,但彼此之间的距离(基线)是已知的。我们通过基线来估计每个像素的空间位置。双目相机测量到的深度范围与基线相关,基线距离越大,能够测量到的就越远。


所以,无人车上搭载的双目相机通常会是个很大的家伙。它的缺点是配置与标定均较为复杂,其深度量程和精度受双目的基线与分辨率所限,而且视差的计算非常消耗计算资源。


深度相机原理是通过红外结构光,类似激光传感器,主动向物体发射光并接收返回的光,测出物体与相机之间的距离。这部分并不像双目相机那样通过软件计算来解决,而是通过物理的测量手段,所以相比于双目相机可节省大量的计算。


深度相机缺点是可能存在测量范围窄、噪声大、视野小、易受日光干扰、无法测量透射材质等诸多问题,室外场景较难应用。


针对高精地图需要大规模生产的需求,单目相机因其成本低,安装简单的特点是目前主流的高精地图视觉设备。



惯导设备


惯性导航系统(简称惯导)是一种不依赖于外部信息、也不向外部辐射能量的自主式导航系统。工作环境不仅包括空中、地面,还可以在水下。


惯导的基本工作原理是以牛顿力学定律为基础,通过测量载体在惯性参考系的加速度,将它对时间进行积分,且把它变换到导航坐标系中,就能够得到在导航坐标系中的速度、偏航角和位置等信息,被广泛应用在军事、测绘、资源勘探、机器人、自动驾驶等领域。


惯导系统具有抗干扰、自主性强、数据频率高、稳定性好等优点。按漂移率从小到大可分为导航级、战术级、工业级、车载级和消费级。目前自动驾驶和高精地图制作领域多选用战术级的惯导设备,以满足高精定位需求。


此外,惯导系统已发展出挠性惯导、光纤惯导、激光惯导、微机电系统惯导等多种方式。其中微机电系统(Micro-electromechanical Systems, MEMS)具有体积小、重量轻、功耗低、价格便宜、抗冲击等优点,被广泛应用,目前已拓展至中低精度的战术级应用领域。


惯导系统单独使用时会有累计误差,实际应用中多与以 GPS 和北斗为代表的全球导航卫星系统(Global Navigation Satellite System, GNSS)等辅助系统构成组合系统,得到载体的全局位置。


当卫星信号丢失时,通过惯导积分可以获取较为准确的实时位姿推算。对于不要求实时性的测绘应用,通过平滑算法能获取更高的定位精度。


在移动测绘领域,惯导的另一个作用是配合激光和相机等外部传感器。通过与 GNSS 耦合得到的载体位姿,可为图片姿态及激光脉冲发射姿态提供高精高频定位,经过传感器间的外部标定,将对应的信息投射到全局三维坐标系。


惯导的另一种组合方式是与视觉传感器耦合构成视觉惯性里程计(Visual Inertial Odometry,VIO)。视觉传感器在纹理丰富的场景中 SLAM 效果较好,但是如果遇到移动物体占据照片主体或者特征较少的场景,视觉传感器会失效。


融合惯导数据能提高整体定位精度和连续性。MEMS 惯导单元广泛存在于智能手机当中,苹果公司推出的 ARkit 和谷歌公司推出的 ARcore 框架都提供了相应的 VIO 实现,以支持增强现实应用。


多传感器融合的定位导航方案已经成为趋势, 惯导系统首先与 GNSS 组合,再结合图像、激光雷达等传感器构成的组合导航系统是目前自动驾驶及高精地图制作领域的研究热点和发展方向。

视觉惯导框架及关键技术

目前主流的视觉惯导融合框架分为两部分:前端和后端。前端提取传感器数据构建模型用于状态估计,后端根据前端提供的数据进行优化,最后输出相机的位置、姿态和全局地图,架构如图所示:



视觉惯导技术框架中前端和后端的优化是关键技术,本文介绍的是采用滑动窗口的模式进行视觉融合惯导的局部相对优化,当初始化失败的时候考虑融入纯视觉 SFM 加惯导对齐的方式进行初始化,相对优化之后会有一个全局的优化,最后对整个地图做绝对的优化。

高德高精地图生产技术方案

高精地图的生产主要从两类要素进行,一类是道路标志牌,例如路面导向指示牌,红绿灯等;一类是地面标识,例如车道分割线,导向箭头等。两种类别的地图要素均要先计算出位置,然后把要素和路网关联,得到要素的属性信息和几何信息。


地图要素的生产把人工作业和自动化提取融为一体。首先,通过外业采集的数据进行图像和轨迹的解算,获取自动化所需的视觉惯导信息,根据视觉惯导融合技术生成地图要素,在自动化地图的基础上采用人工进行 Web 编辑的模型,提高地图要素的精度,最后存储到对应的数据库中去。



感知结果示例:



生成地图示例:


展望

基于惯导视觉的高精地图生产方案有很多,国内外公司像 Moment、宽凳科技,lvl5 等都在研究,但是从目前市面上看,由于设备成本限制,基于视觉的高精地图精度极限在 10cm。


后续,基于视觉的高精地图发展可能是朝着多源数据融合的方向,即同一道路多次采集,不同设备多次采集获取的数据源融合在一起,提高精度的同时提高地图更新的时效。


高德扎根于地图行业,有丰富的地图数据源,有行业领先的自动化生产技术和成熟的工艺流程,为未来基于多元视觉惯导融合的高精地图生产打下了坚实的基础,这些都会进一步推动自动驾驶的发展。


公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2020-03-04 14:481916

评论

发布
暂无评论
发现更多内容

用HarmonyOS做一个可以手势控制的电子相册应用(ArkTS)

HarmonyOS开发者

HarmonyOS

LLM盛行下,如何高效训练大模型

百度开发者中心

大模型训练 LLM LLMOps

一种基于闭包函数实现自动化框架断言组件的设计实践 | 京东物流技术团队

京东科技开发者

闭包函数 企业号10月PK榜 测试脚本 断言组件

AI在创新和竞争力中的关键

测吧(北京)科技有限公司

测试

人工智能对教育和职业的双重冲击

测吧(北京)科技有限公司

测试

人工智能改变日常生活和工作的未来

测吧(北京)科技有限公司

测试

加速深度学习创新的引擎

百度开发者中心

大模型 LLM LLMOps

大模型训练,提升AI能力的关键

百度开发者中心

大模型训练 LLM

安卓设备连接Mac必备的传输工具 MacDroid

展初云

人工智能的潜在益处与风险

测吧(北京)科技有限公司

测试

HarmonyOS音频开发指导:使用AudioRenderer开发音频播放功能

HarmonyOS开发者

HarmonyOS

大模型训练,提升AI能力的关键

百度开发者中心

深度学习 大模型

10.26 来 CNCC 2023 T16 展位,TDengine 精美周边等你来领!

TDengine

时序数据库 ​TDengine

培养AI领域的未来人才

测吧(北京)科技有限公司

测试

文韬武略,创新无界,华为云1024程序员节精彩抢先看

华为云开发者联盟

程序员 开发者 华为云 华为云开发者联盟 华为云1024程序员节

Parallels Desktop 19 for Mac虚拟机

展初云

虚拟机 pd虚拟机 Mac安装win

AI与就业:面对未来的失业风险

测吧(北京)科技有限公司

测试

访问控制中PIP的典型流程和关键点思考

权说安全

访问控制

应对全球性挑战的AI解决方案

测吧(北京)科技有限公司

测试

天下苦定制久矣,平台化建设到底难在哪里?

权说安全

零信任 统一门户

AI监管与政策:塑造人工智能未来

测吧(北京)科技有限公司

测试

透明格栅屏与传统LED显示屏有什么区别?透明格栅屏用在什么地方?

Dylan

产品 LED LED显示屏

四川华新学院在“火焰杯”软件测试高校就业选拔赛取得佳绩

测试人

软件测试

AutoCAD2024破解版下载 三维绘图软件 支持M1/M2芯片

晴雯哥

区块链交易所开发

西安链酷科技

#区块链#

软件测试|华新学院在2022 年全国大学生“火焰杯”软件测试高校就业选拔赛取得佳绩

霍格沃兹测试开发学社

如何让大模型生成更准确、可靠的结果?

鼎道智联

GPT

自动驾驶中高精地图的大规模生产:视觉惯导技术在高德的应用_文化 & 方法_高德技术_InfoQ精选文章