写点什么

自动驾驶领域中的图像分割应用

2019 年 10 月 15 日

自动驾驶领域中的图像分割应用


通勤是我们日常生活的一个重要组成部分,而其中包括的车辆驾驶问题一直是人工智能的热门话题。本文我们就谈谈自动驾驶中的图像分割应用,主要介绍了基于视觉系统的自动驾驶问题,并给出常见的三种模式。在此基础上,分析了应用于自动驾驶领域的一些图像分割方法和其对应的实验结果。


介绍

相对于机器人视觉而言,自动驾驶问题所需要输出的决策相对简单——速度和转角。当前,基于视觉的自动驾驶算法大致有如下图所示的三种模式:间接感知(MP)、行为反射(BR)和直接感知(DP)。



常见基于视觉的自动驾驶模式(图片来源于参考文献 1)


间接感知方法通常会利用多种与驾驶相关的目标来判断车辆所处的环境,比如指示线、路标、路灯、其他车辆、行人等统一的路况判断依据。基于这种方法的自动驾驶系统会在作出判断之前,考虑所有捕获到的信息,也就意味着所有的细节都会被考虑进去。尽管这样做看起来面面俱到,但是对于算法的要求很高,否则各种小细节的引入会增加决策的难度。


行为反射方法直接将传感器获取到的信息映射成驾驶行为。在训练过程中,自动驾驶系统记录沿途的图像和司机的操作转角作为训练数据。这种方法虽然简洁,但是要适应复杂的路况和因人而异的驾驶习惯,难度还是很大的。


直接感知方法是介于前两种方法之间,既非理解整个场景,也非完全不加分析地直接映射。这种方法只学习场景内的重要路况,比如车辆相对于路面的角度、车辆到指示线的距离,以及车辆距离当前车道内和相邻车道内其他车辆的距离。



直接感知方法示意图(图片来源于参考文献 1)


基于纯视觉图像分割的自动驾驶

基于图像分割方法实现自动驾驶的方式可以有很多。比如可以直接从图像入手,分析场景内所有或部分的语义信息,根据不同语义给出不同的反馈;也可以通过分割提取图像内的可解释信息,区分出可驾驶的路面和不可驾驶的路面,从而作出驾驶决策。


对基于纯视觉方法的自动驾驶分辨技术,图像分割的精度是决定自动驾驶效果的重要因素。为了提高图像分割的精度,除了有三 AI(公众号)《图像分割模型》专栏中介绍的常用模型及改进方式外,还可以利用不同类别标注间的关系来全局约束分割结果。


如下图所示,CMSMR 网络结构利用多标签共同学习、协同优化的方式,实现了高分辨率图像下的图像分割。



DMSMR 网络结构(图片来源于参考文献 2)



单条前向排序优化网络(图片来源于参考文献 2)


除了车载设备获取的路面信息外,这种方式也可以利用到遥感图像上。如下图所示,实现遥感图像下的道路分割不仅有助于车辆的自动驾驶,也有助于道路规划、交通疏导等宏观规划问题的解决。



自动驾驶相关遥感图片下的图像分割(图片来源于参考文献 2)


基于多传感器融合的自动驾驶

除了单纯利用车上的视觉系统外,也可以结合车上搭载的其他传感器,实现联合信息下的自动驾驶决策判断。


下图是结合雷达信息实现自动驾驶中道路分割的网络结构图。输入为 RGB 图像和激光雷达所获取的信息,经过特征提取和 RFU 模块融合,实现对道路的分割。



结合雷达的图像分割自动驾驶系统(图片来源于参考文献 3


下图为上图中橙色部分对应的 RFU 模块:



RFU 模块(图片来源于参考文献 3)


参考文献:


[1] C. Chen, A. Seffetc, A. Kornhauser, and J. Xiao. DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving[C]. 2015.


[2] M. Zhang, X. Hu, L. Zhao, Y. Lv, M. Luo, and S. Pang. Learning Dual Multi-Scale Manifold Ranking for Semantic Segmentation of High-Resolution Images[J]. 2017


[3] H. Liu, Y. Yao, Z. Sun, X. Li, K. Jia, and Z. Tang. Road Segmentation with Image-LiDAR Data Fusion[J]. 2019


作者介绍


孙叔桥,公众号“有三 AI”作者。该公号聚焦于让大家能够系统性地完成 AI 各个领域所需的专业知识的学习。


原文链接


https://mp.weixin.qq.com/s/qlyj4H_qh6okNuZ6TKKDTw


2019 年 10 月 15 日 17:331288

评论

发布
暂无评论
发现更多内容

不断壮大的电竞生态——英特尔大师挑战赛携手李宁中国选手等你来战!

最新动态

Oracle常用命令

阡陌r

快速学习秘诀:费曼学习法

池建强

学习

35岁腾讯员工被裁员感叹:北京一套房,存款700多万,失业好焦虑

程序员生活志

程序员生活

中国计算机软件开发合同纠纷分析报告(2019-1)

朱又生

项目管理 计算机软件开发合同纠纷 风险管理 司法大数据

架构师训练营第10周

大丁💸💵💴💶🚀🐟

软件规模扩张与其组织粒度的进化

superman

中台 微服务 服务化改造

week10 学习总结

任小龙

第十周总结

晨光

将设计模式应用到日常的curd中-模板方法和装饰器

LSJ

Java 设计 设计模式 装饰器 模板方法

低/零代码的认知误区有哪些?

代码制造者

编程语言 低代码 零代码 信息化 开发应用

微服务

石刻掌纹

Flink 支持的重启策略有哪些

奈学教育

flink

如何通过electron构建桌面跨平台音视频应用

ZEGO即构

音视频 Electron RTC

央行清算总中心与三家银行签署区块链福费廷交易平台合作协议

CECBC区块链专委会

区块链技术 人民银行

架构师训练营第十周作业

一剑

只加两行代码,为什么用了整整两天时间?

程序员生活志

编程 bug

IMC御用设备到底有多强?英特尔携手掠夺者呈现“飞”一般5GHz电竞盛宴

最新动态

第四届IMC再起烽烟 极致性能助战力升级!

最新动态

信息管理软件需求分析阶段的实践经验及论述(2010年)

朱又生

项目管理 产品经理 需求分析 用户需求调研

中国计算机软件开发合同纠纷分析报告(2019-3)

朱又生

项目管理 计算机软件开发合同纠纷 风险管理 司法大数据

anyRTC 4.0 以心铸造,以梦相承

anyRTC开发者

anyRTC 4.0 官网升级

SpreadJS 纯前端表格控件应用案例:生产采购管理软件

Geek_Willie

RushPlayer“一键下马”系列之-JavPlayer

flow

娱乐至穷

北柯

学习 互联网 娱乐 抖音

即大数据后-贵阳能否成为区块链的机遇之城?

CECBC区块链专委会

区块链 大数据 贵阳

Flink 支持的重启策略有哪些

古月木易

flink

中国计算机软件开发合同纠纷分析报告(2019-2)

朱又生

项目管理 计算机软件开发合同纠纷 风险管理 司法大数据

第十周作业

晨光

SpreadJS 纯前端表格控件应用案例:医疗行业智能报表系统

Geek_Willie

华章科技好书5折优惠,满99再减10元

华章IT

Python AI 数字化转型 Java 25 周年 计算机科学丛书

微服务架构下如何保证事务的一致性

微服务架构下如何保证事务的一致性

自动驾驶领域中的图像分割应用-InfoQ