写点什么

高德 SD 地图数据生产自动化技术的路线与实践(道路篇)

  • 2020-07-01
  • 本文字数:3274 字

    阅读完需:约 11 分钟

高德SD地图数据生产自动化技术的路线与实践(道路篇)

一、背景及现状

近些年,国内道路交通及相关设施的基础建设日新月异。广大用户日常出行需求旺盛,对所使用到的电子地图产品的数据质量和现势性提出了更高的要求。传统的地图数据采集和生产过程,即通过采集设备实地采集后对采集资料进行人工处理的模式,其数据更新慢、加工成本高等问题矛盾日益突显。


高德地图凭借视觉 AI 和大数据技术优势引领地图数据产业变革,通过图像 AI 技术从采集资料中直接识别提取各类数据要素,为实现机器代替人的作业模式提供最坚实的技术基础。


高德地图通过对现实世界高频高密度的数据采集,运用图像视觉 AI 能力,在海量的采集图片库中自动检测识别并确定出各种交通标志标线标牌的内容及位置,再通过与历史资料信息的对比,能快速发现现实世界的变化信息,同时结合强大而专业的数据融合能力,实现 100%信息融入,从而构建出高现势性的全国基础地图。


综上,通过算法、地图工程的深度技术合作,以及与资料采集、数据生产的业务拉通,搭建一条以图像识别、位置服务、差分过滤、数据融合等为核心技术的基础地图数据生产全自动化产线,从而建立起从真实世界到地图应用终端,高效高质量的数据信息流水线生产通道。

二、自动化产线的可行性及重点

从图像物体分类和检测进展来看,图像物体的分类和检测已经有几十年的历史,涌现了一系列经典的算法。近些年随着图像识别技术特别是深度学习技术的快速发展及 GPU 计算能力的发展,分类和检测技术有了极大的提升。


从自动化需要的大数据来看,高德地图专注地图数据制作十几年,积累了覆盖全国、丰富且准确的数据,加之每天拥有大量采集信息的汇入,这些数据都成为算法训练天然的样本池;同时一整套专业化、标准化的地图生产作业规范为数据融合打下了坚实的理论基础。


因此,从算法储备能力、数据和工艺的积累来看,自动化产线搭建具有较强的可行性,其重点围绕着以下四部分组成:


图像识别 :图像识别的目标是从输入图像中解析出地图数据相关的现实信息,通过检测、识别图片中的交通标志标线标牌信息,细分其类型,并理解其中的数字和文字,以文本形式表达内容。此外,由于输入的是连续图像,单个标志标线标牌可以在多个图像上观察到,因此整合多张图像中的同一信息,并选择最合适的图像作为主图展示。


位置服务 :基于低精度 GPS 和采集图像,位置服务推算出自身和场景物体的精确位置,并映射到地图数据中。其中包括图像道路理解、标志位置解析、采集轨迹匹配等核心能力。依据轨迹特性和道路连通性,建立对定位位置、角度、速度等与候选道路关系的匹配概率模型,将轨迹关联到地图数据上。通过对多张图片中场景的理解,给出图片相对于路口的相对位置,结合地图道路数据的形态,进一步确定物体的作用位置。


图像差分和语义过滤 :目的是将新采集资料与已有母库中的数据进行一致性对比,自动将相同的信息进行差分与过滤操作,留下变化的信息。两者不同之处在于前者是检测相同位置新一次采集的图片相对于历史采集图片是否有变化,从轨迹和图像本身的角度对比;后者从数据的角度看图像识别后内容,对于母库数据是否有变化,从地图语义的角度做比较。


基于位置的数据融合 :图像识别的成果,结合位置服务提供的作用位置,获取到作用道路。通过抽象路口的模型,在该道路或路口做数据融合,即新增或者更新地图数据。

三、 关键技术能力

1.图像识别


图像识别主要面临三大挑战:一方面场景多样,类型繁多。待检测对象种类繁多,如交通标志标牌、地面引导线、电子眼等。比如正常的方向信息标牌如下图:



特殊的方向信息牌标牌:



而同类检测对象的样式也是繁杂的,国标通用的交通标志有几百个类型,而各地也会有一些地方特色的交通标志,所以需支持定制化检测识别。常见标牌形状多样,三角、圆形、方形、菱形、八边形等,同时颜色分布广泛,如黄色、红色、蓝色、绿色、黑色、白色等,另外,还需要排除自然场景内一些类似交通标志的标语、广告牌等,以减少对识别准确率的影响。



另一方面,在自然场景下图片质量差异巨大,其中很多图像质量偏低。再加上面临遮挡、逆光、雨雪天等极端户外场景。这些在检测环节都是要重点考虑及解决的问题。



最后,待检测对象的尺寸差异较大,大如方牌(几百个像素大小),小如电子眼、交通灯(十几个像素大小)。而小尺度检测,辨识度很差,对检测算法有比较高的要求。


综上,对于算法能力本身而言,交通标志检测实际上是一个多类型的目标检测任务,主流的方法是基于深度学习的 End2End 方案,在一个网络中同时完成检测与细分类任务。常用的 dataset 一般是 PASCAL VOC(20 类)和 COCO(90 类)等。


根据业务的实际需要,整个方案分为目标检测与精细分类两部分组成,目标检测阶段通过 Faster-RCNN 在图片中检测所有的交通标志,该阶段要求极高的召回率和执行速度,相应在准确率方面可以放宽要求;精细分类阶段对目标检测阶段得到候选框,然后进行精细分类并滤除噪声,最终保证极高的召回率和准确率。


2.位置服务


轨迹漂移对位置匹配地图的准确性一直都是极大的挑战,一方面平行路、高架场景,尤其是主辅路这种距离 1-2 个车道的平行路,需要很高的定位精度,常规的 GPS 定位精度在 5-10m,很难达到 80%的主辅路识别率。另外基础地图数据本身也存在 GPS 精度问题。


通过规则及隐马尔科夫模型的学习、推理以及维特比算法等基础理论以外,合理地抵抗定位漂移问题,是轨迹匹配成功的关键。通过对轨迹形态进行学习和总结,找出其规律,建立符合其特性的概率模型,精准地表达匹配建立过程,合理地平衡匹配准确性和抗漂移能力二者之间的关系。另外,通过长轨迹的连通性和图像识别车道数或道路位置关系,以解决平行路的部分场景的问题。


而对作用道路和作用位置的确定,目前依赖于图像识别对于路口位置的识别及融合对地图数据场景的理解和判断,例如标牌对路或路口的相对位置靠识别本身很难确定,需要融合对数据路网数据特性的理解和判断,这种判断比较复杂,人一眼就看明白了,但是机器很难用规则去描述。所以,通过路段中直行、路口中直行及拐弯等场景的分析,对比地图路段或路口的模型,来确定作业道路,根据不同属性计算作用位置。


3.图像差分和语义过滤


图像差分主要会面临资料对齐问题,即同一位置的多次采集资料,会受 GPS 自身精度及因卫星信号遮挡导致的漂移带来的所在道路判断偏差的影响。另外,在语义识别上,受自然环境下的环境因素,如遮挡、模糊、阴影、雨雪天气、视角变化等,会影响后续算法对图像的深层语义信息(如类型、内容等)的解析。两种因素的叠加,在多张图像和语义的一致性比对时,难度就提高了不少。


这方面,算法大幅快速提升了识别和一致性判断的准确率,以避免错误匹配对数据更新的影响。图像差分分为资料对齐和局部匹配两部分,资料对齐回答两次采集图像是否在同一位置、视角等,通过 GPS 轨迹粗筛、图像匹配等手段,判断两张图像的位置关系。局部匹配则需要回答两个物体是否为同一类型,对于有文本内容的物体,还需要检测版式、文本的一致性。因此除引入常见的点特征匹配技术外,也使用了基于深度学习的图像匹配网络。对于文本内容部分,借助 OCR 能力完成内容的理解和解析,最终判断两次采集的内容完全一致性。


4.基于位置的数据融合


由于现实世界的复杂性,地图生产经验积累形成了大量标准化地图数据制作规范,这些都是能合理抽象、准确表达现实世界的无形资产。即便现实路网形态千奇百怪,但都能通过模型进行抽象归类,建立不同场景下相对通用的地图数据模型,从而在其上建立沉淀大量的地图数据处理的工具类和方法,以确保数据自动化融合能力的广泛使用。


四、总结

高德 SD 基础地图数据生产自动化实现,本质上就是在基础地图数据生产过程中,引入图像 AI 技术和数据融合技术,结合多年地图数字化生产作业规范及经验,创新出一套面向资料的自动化生产线,形成自动化解放人工持续提供高效高质量的地图数据,以解决地图供应商生产产线专业化程度高、人工成本大、作业效率低等产线问题,最终满足广大用户出行过程对电子地图产品数据现势性的需求。


本文转载自公众号高德技术(ID:amap_tech)。


原文链接


https://mp.weixin.qq.com/s/-0WJkoRdYJs4Q7JXVNa2Ww


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-07-01 10:002599

评论

发布
暂无评论
发现更多内容

听6位专家畅谈AI大模型落地实践:场景和人才是关键

华为云开发者联盟

人工智能 华为云 大模型 华为云开发者联盟 DTSE Tech Talk

孤注一掷——基于文心Ernie-3.0大模型的影评情感分析

百度开发者中心

人工智能 深度学习 文心大模型

青否交互式数字人系统开放!

青否数字人

软件测试/测试开发/全日制/测试管理丨ORM 价值与体系

测试人

IIoT Advancement: Wally's QCN9024 Card Introduces New Mechanism for Real-time Monitoring on IPQ6018 and IPQ8072 Platforms

wallyslilly

ipq6018 QCN9074 IPQ8072

每日一题:LeetCode-24. 两两交换链表中的节点

半亩房顶

Go 面试 算法 链表 LeetCode

如何上传苹果ipa安装包?

EVE-NG初次启动及WEB客户端访问

小齐写代码

clickhouse 优化实践,万级别QPS数据毫秒写入和亿级别数据秒级返回 | 京东云技术团队

京东科技开发者

多模态大模型时代下的文档图像智能分析与处理

百度开发者中心

人工智能 图像识别 大模型

通义千问Qwen-72B-Chat基于PAI的低代码微调部署实践

阿里云大数据AI技术

ARM版CentOS Linux系统镜像文件(苹果M1专用)

Rose

从0开始构建交互式数字人!

青否数字人

数字人

异步编程利器:CompletableFuture深度解析

Java随想录

Java 多线程 并发

HL Mando宣布与亚马逊网络服务合作

财见

35万奖金!开放原子开源大赛openInula前端框架生态与AI创新挑战赛启动报名!

openInula

开源 AI 前端 前端框架 生态

30万奖金!开放原子开源大赛“云原生数据缓存性能挑战赛” 等你来挑战!

新消费日报

帕特·基辛格:AI PC是个人电脑历史的“寒武纪”时刻

E科讯

软件测试开发/全日制/测试管理丨Web应用框架Flask优势与特点

测试人

软件测试

如何防止数字人直播封号问题?

青否数字人

数字人

自动化集成有哪些典型应用场景?

RestCloud

零代码 APPlink 自动化集成

前端开发学习与发展建议,错过很可惜

伤感汤姆布利柏

大白话70个你必须知道的AI重要概念(一)

FinClip

EVE-NG初次启动及WEB客户端访问

小魏写代码

【第七在线】现代时尚:解锁服装企业商品企划的创新之路

第七在线

【标准解读】物联网安全的系统回顾

华为云开发者联盟

后端 物联网 华为云 华为云开发者联盟

缓存之美——如何选择合适的本地缓存?

京东科技开发者

适用于 macOS 的参考资料管理软件:Bookends

Rose

Bookends Mac破解版

企业数字化转型的七大误区

天津汇柏科技有限公司

数字化转型

如何购买国内大带宽云服务器

景博

推荐几个好用的程序员效率神器

EquatorCoco

后端 开发工具 后端程序员

高德SD地图数据生产自动化技术的路线与实践(道路篇)_AI&大模型_高德技术_InfoQ精选文章