50万奖金+官方证书,深圳国际金融科技大赛正式启动,点击报名 了解详情
写点什么

高德 SD 地图数据生产自动化技术的路线与实践(道路篇)

  • 2020-07-01
  • 本文字数:3274 字

    阅读完需:约 11 分钟

高德SD地图数据生产自动化技术的路线与实践(道路篇)

一、背景及现状

近些年,国内道路交通及相关设施的基础建设日新月异。广大用户日常出行需求旺盛,对所使用到的电子地图产品的数据质量和现势性提出了更高的要求。传统的地图数据采集和生产过程,即通过采集设备实地采集后对采集资料进行人工处理的模式,其数据更新慢、加工成本高等问题矛盾日益突显。


高德地图凭借视觉 AI 和大数据技术优势引领地图数据产业变革,通过图像 AI 技术从采集资料中直接识别提取各类数据要素,为实现机器代替人的作业模式提供最坚实的技术基础。


高德地图通过对现实世界高频高密度的数据采集,运用图像视觉 AI 能力,在海量的采集图片库中自动检测识别并确定出各种交通标志标线标牌的内容及位置,再通过与历史资料信息的对比,能快速发现现实世界的变化信息,同时结合强大而专业的数据融合能力,实现 100%信息融入,从而构建出高现势性的全国基础地图。


综上,通过算法、地图工程的深度技术合作,以及与资料采集、数据生产的业务拉通,搭建一条以图像识别、位置服务、差分过滤、数据融合等为核心技术的基础地图数据生产全自动化产线,从而建立起从真实世界到地图应用终端,高效高质量的数据信息流水线生产通道。

二、自动化产线的可行性及重点

从图像物体分类和检测进展来看,图像物体的分类和检测已经有几十年的历史,涌现了一系列经典的算法。近些年随着图像识别技术特别是深度学习技术的快速发展及 GPU 计算能力的发展,分类和检测技术有了极大的提升。


从自动化需要的大数据来看,高德地图专注地图数据制作十几年,积累了覆盖全国、丰富且准确的数据,加之每天拥有大量采集信息的汇入,这些数据都成为算法训练天然的样本池;同时一整套专业化、标准化的地图生产作业规范为数据融合打下了坚实的理论基础。


因此,从算法储备能力、数据和工艺的积累来看,自动化产线搭建具有较强的可行性,其重点围绕着以下四部分组成:


图像识别 :图像识别的目标是从输入图像中解析出地图数据相关的现实信息,通过检测、识别图片中的交通标志标线标牌信息,细分其类型,并理解其中的数字和文字,以文本形式表达内容。此外,由于输入的是连续图像,单个标志标线标牌可以在多个图像上观察到,因此整合多张图像中的同一信息,并选择最合适的图像作为主图展示。


位置服务 :基于低精度 GPS 和采集图像,位置服务推算出自身和场景物体的精确位置,并映射到地图数据中。其中包括图像道路理解、标志位置解析、采集轨迹匹配等核心能力。依据轨迹特性和道路连通性,建立对定位位置、角度、速度等与候选道路关系的匹配概率模型,将轨迹关联到地图数据上。通过对多张图片中场景的理解,给出图片相对于路口的相对位置,结合地图道路数据的形态,进一步确定物体的作用位置。


图像差分和语义过滤 :目的是将新采集资料与已有母库中的数据进行一致性对比,自动将相同的信息进行差分与过滤操作,留下变化的信息。两者不同之处在于前者是检测相同位置新一次采集的图片相对于历史采集图片是否有变化,从轨迹和图像本身的角度对比;后者从数据的角度看图像识别后内容,对于母库数据是否有变化,从地图语义的角度做比较。


基于位置的数据融合 :图像识别的成果,结合位置服务提供的作用位置,获取到作用道路。通过抽象路口的模型,在该道路或路口做数据融合,即新增或者更新地图数据。

三、 关键技术能力

1.图像识别


图像识别主要面临三大挑战:一方面场景多样,类型繁多。待检测对象种类繁多,如交通标志标牌、地面引导线、电子眼等。比如正常的方向信息标牌如下图:



特殊的方向信息牌标牌:



而同类检测对象的样式也是繁杂的,国标通用的交通标志有几百个类型,而各地也会有一些地方特色的交通标志,所以需支持定制化检测识别。常见标牌形状多样,三角、圆形、方形、菱形、八边形等,同时颜色分布广泛,如黄色、红色、蓝色、绿色、黑色、白色等,另外,还需要排除自然场景内一些类似交通标志的标语、广告牌等,以减少对识别准确率的影响。



另一方面,在自然场景下图片质量差异巨大,其中很多图像质量偏低。再加上面临遮挡、逆光、雨雪天等极端户外场景。这些在检测环节都是要重点考虑及解决的问题。



最后,待检测对象的尺寸差异较大,大如方牌(几百个像素大小),小如电子眼、交通灯(十几个像素大小)。而小尺度检测,辨识度很差,对检测算法有比较高的要求。


综上,对于算法能力本身而言,交通标志检测实际上是一个多类型的目标检测任务,主流的方法是基于深度学习的 End2End 方案,在一个网络中同时完成检测与细分类任务。常用的 dataset 一般是 PASCAL VOC(20 类)和 COCO(90 类)等。


根据业务的实际需要,整个方案分为目标检测与精细分类两部分组成,目标检测阶段通过 Faster-RCNN 在图片中检测所有的交通标志,该阶段要求极高的召回率和执行速度,相应在准确率方面可以放宽要求;精细分类阶段对目标检测阶段得到候选框,然后进行精细分类并滤除噪声,最终保证极高的召回率和准确率。


2.位置服务


轨迹漂移对位置匹配地图的准确性一直都是极大的挑战,一方面平行路、高架场景,尤其是主辅路这种距离 1-2 个车道的平行路,需要很高的定位精度,常规的 GPS 定位精度在 5-10m,很难达到 80%的主辅路识别率。另外基础地图数据本身也存在 GPS 精度问题。


通过规则及隐马尔科夫模型的学习、推理以及维特比算法等基础理论以外,合理地抵抗定位漂移问题,是轨迹匹配成功的关键。通过对轨迹形态进行学习和总结,找出其规律,建立符合其特性的概率模型,精准地表达匹配建立过程,合理地平衡匹配准确性和抗漂移能力二者之间的关系。另外,通过长轨迹的连通性和图像识别车道数或道路位置关系,以解决平行路的部分场景的问题。


而对作用道路和作用位置的确定,目前依赖于图像识别对于路口位置的识别及融合对地图数据场景的理解和判断,例如标牌对路或路口的相对位置靠识别本身很难确定,需要融合对数据路网数据特性的理解和判断,这种判断比较复杂,人一眼就看明白了,但是机器很难用规则去描述。所以,通过路段中直行、路口中直行及拐弯等场景的分析,对比地图路段或路口的模型,来确定作业道路,根据不同属性计算作用位置。


3.图像差分和语义过滤


图像差分主要会面临资料对齐问题,即同一位置的多次采集资料,会受 GPS 自身精度及因卫星信号遮挡导致的漂移带来的所在道路判断偏差的影响。另外,在语义识别上,受自然环境下的环境因素,如遮挡、模糊、阴影、雨雪天气、视角变化等,会影响后续算法对图像的深层语义信息(如类型、内容等)的解析。两种因素的叠加,在多张图像和语义的一致性比对时,难度就提高了不少。


这方面,算法大幅快速提升了识别和一致性判断的准确率,以避免错误匹配对数据更新的影响。图像差分分为资料对齐和局部匹配两部分,资料对齐回答两次采集图像是否在同一位置、视角等,通过 GPS 轨迹粗筛、图像匹配等手段,判断两张图像的位置关系。局部匹配则需要回答两个物体是否为同一类型,对于有文本内容的物体,还需要检测版式、文本的一致性。因此除引入常见的点特征匹配技术外,也使用了基于深度学习的图像匹配网络。对于文本内容部分,借助 OCR 能力完成内容的理解和解析,最终判断两次采集的内容完全一致性。


4.基于位置的数据融合


由于现实世界的复杂性,地图生产经验积累形成了大量标准化地图数据制作规范,这些都是能合理抽象、准确表达现实世界的无形资产。即便现实路网形态千奇百怪,但都能通过模型进行抽象归类,建立不同场景下相对通用的地图数据模型,从而在其上建立沉淀大量的地图数据处理的工具类和方法,以确保数据自动化融合能力的广泛使用。


四、总结

高德 SD 基础地图数据生产自动化实现,本质上就是在基础地图数据生产过程中,引入图像 AI 技术和数据融合技术,结合多年地图数字化生产作业规范及经验,创新出一套面向资料的自动化生产线,形成自动化解放人工持续提供高效高质量的地图数据,以解决地图供应商生产产线专业化程度高、人工成本大、作业效率低等产线问题,最终满足广大用户出行过程对电子地图产品数据现势性的需求。


本文转载自公众号高德技术(ID:amap_tech)。


原文链接


https://mp.weixin.qq.com/s/-0WJkoRdYJs4Q7JXVNa2Ww


2020-07-01 10:004260

评论

发布
暂无评论
发现更多内容

面试官为什么喜欢拿 Kafka 考验求职者

奈学教育

kafka

LeetCode 1339. Maximum Product of Splitted Binary Tree

隔壁小王

算法

Java技术奇迹

ATGU:阿宝哥

C#和TS的范型实例化

猫定谔的靴

C# typescript 泛型

27岁了,程序员写给自己的一封信

学习Java的小姐姐

程序员 生活 总结 程序媛 职场回顾

持续集成实践系列 」Jenkins 构建 CI 自动化流水线常见技巧 (二)

狂师

持续集成 jenkins jenkins-plugin CI/CD

如何辨别有发展潜力的员工​

Neco.W

工作 招聘

关于Synchronized锁升级,你该了解这些

学习Java的小姐姐

并发编程 synchronized 轻量级锁 偏向锁 重量级锁

2020年5月北京BGP机房网络质量评测报告

博睿数据

网络 服务器 存储 机房 主机

硬不硬你说了算!近 40 张图解被问千百遍的 TCP 三次握手和四次挥手面试题

小林coding

面试 TCP 网络安全 网络编程 计算机网络

PlantUML 的介绍和使用

Puran

UML PlantUML

cpu分析利器 — async-profiler

捉虫大师

Java cpu profiler

实时更新:计算机编程语言排行榜—TIOBE世界编程语言排行榜(2020年6月份最新版)

ATGU:阿宝哥

为什么你在群里的提的技术问题没人回答?

古时的风筝

程序员 提问的艺术

读《平凡的世界》

YoungZY

读书

9种 分布式ID生成方案,我替你整理好了

程序员小富

Java MySQL 分布式

《Oracle Java SE编程自学与面试指南》最佳学习路线图(2020最新版)

ATGU:阿宝哥

前端开发必备工具箱

LeanCloud

CSS 性能优化 vscode 大前端 工具

存储让“想象”势不可挡

焱融科技

厉害了,SpaceX-API 开源了

非著名程序员

GitHub 开源 程序员

createRef、useRef、useMemo对比分析和应用场景

费马

React Hooks useRef useMemo createRef

《龙教授私享会职场沟通心法》最佳学习路线(2020最新版)

ATGU:阿宝哥

从SDL到DevSecOps:始终贯穿开发生命周期的安全

Fooying

DevOps SDL DevSecOps 安全开发 软件开发生命周期

ARTS-Week 01

chasel

Dubbo Cluster集群那点你不知道的事。

why技术

源码 面试 dubbo 集群容错

程序员未来会成为非常内卷的职业?

非著名程序员

程序员 程序人生 职业 职业规划

ARTS打卡-02

Geek_yansheng25

大话设计模式 | 1 简单工厂模式

Puran

C# 设计模式 PlantUML

Elasticsearch-Base

子路无倦

elasticsearch search 搜索

分布式系统技术:存储之数据库

奈学教育

分布式

从技术思维角度聊一聊『程序员』摆地摊的正确姿势

牧码哥

随笔杂谈 技术人生 经验分享

高德SD地图数据生产自动化技术的路线与实践(道路篇)_AI&大模型_高德技术_InfoQ精选文章