对中国开发者最具吸引力的科技企业有哪些?快来为你 pick 的企业投票! 了解详情
写点什么

AAAI 2020 论文解读:商汤科技提出新弱监督目标检测框架

2020 年 2 月 15 日

AAAI 2020论文解读:商汤科技提出新弱监督目标检测框架

近期,商汤科技视频大数据团队发表论文《Object Instance Mining for Weakly Supervised Object Detection》,该论文被 AAAI 2020 录用。在论文中,该团队提出了一种端到端的物体实例挖掘弱监督目标检测框架,引入了基于空间图及外观图的信息传播机制,在网络迭代学习过程中,尝试挖掘每张图像中全部的物体实例。除此之外,还引入了物体实例权重调整损失函数 (reweighted loss),使网络可以同时学习到更完整的物体实例,从而让弱监督目标检测方法得到更加准确的检测框。


目标检测是计算机视觉领域长期关注的问题,在自动驾驶、图像理解、视频监控等领域都有着广泛的应用。然而基于深度学习技术的目标检测器在网络训练中需要大量精确标注的物体边界框,这些耗时耗力的标注工作阻碍了该技术在实际产品中的快速和广泛应用,同时大量的人工标注也大大提高了产品成本。为了解决这个局限性,仅使用图片级别标注(既标注仅包含图片中物体的类别)的弱监督目标检测技术在近几年受到了广泛的关注和研究,具有重要的意义。


现有的弱监督目标检测方法大多数是基于多实例学习框架的,对于每个物体类别,基于多实例学习框架的方法倾向于学习图像中该类中特征最明显的物体,并对于每张图片选取得分最大的一个物体框进行训练,其他被忽略的物体实例容易使学习网络陷入局部最优,进而影响弱监督目标检测的性能。


本论文提出了一种端到端的物体实例挖掘(Object Instance Mining, OIM)弱监督目标检测框架。该框架引入了基于空间图(Spatial Graph)及外观图(Appearance Graph)的信息传播机制,在网络迭代学习过程中,尝试挖掘每张图像中全部的物体实例。这样使得在基于多实例学习方法的网络学习过程中,特征不够显著的物体实例可以被检测到并加入训练,进而提升特征的表达能力和鲁棒性。除此之外,商汤科技视频大数据团队还引入了物体实例权重调整损失函数(reweighted loss),使网络可以同时学习到更完整的物体实例,从而让弱监督目标检测方法得到更加准确的检测框。基于物体实例挖掘(OIM)弱监督目标检测框架结构如下图所示:



物体实例挖掘(OIM)弱监督目标检测框架。


该框架主要由多实例检测(Multiple Instance Detection)及目标实例挖掘(Object Instance Mining)两个部分构成。在网络训练迭代过程中,论文先使用多实例检测预测每个候选区域的类别,之后基于检测的输出及候选区域的特征,通过建立空间图及外观图尽可能挖掘图像中的全部物体实例,并将它们加入训练。其中物体实例挖掘过程如下图所示:



物体实例挖掘过程示例。


在网络训练迭代过程中,在一幅图中,首先学习/检测到最具辨识力的物体实例,基于此实例通过位置关系,既其他候选框与此实例的重叠关系,建立空间图(Spatial Graph),如图(a)。之后基于此实例,通过计算它与其他候选框之间的外观相似度,挖掘图片中可能属于同一类别的物体实例,建立外观图(Appearance Graph),针对每一个新挖掘到实例同样建立空间图,如图(b),©。以此步骤进行迭代训练,直到挖掘出图像中全部可能的物体实例加入训练如图(d)。


除此之外,由于在网络迭代学习过程中,尤其是对于非刚性物体实例,基于 CNN 的分类器学习到的最具辨识力的是物体实例的某个局部而不是整个物体的整体,,因此本论文设计了物体实例权重调整损失函数(reweighted loss), 以学习到更准确的物体检测框。团队提出对于不同的候选框应分配不同的权重,对于分类器置信度得分高的候选框分配较低的权重,反之对最高分候选框周围的候选框分配较高的权重,从而学习更完整的物体实例检测框。


团队在 PASCAL VOC 2007 训练集上进行了弱监督物体实例挖掘的过程的可视化,如下图所示(从左到右),随着网络的迭代学习,更多更准确的物体实例可以被检测出来并加入训练中。




团队使用 PASCAL VOC 2007 及 VOC 2012 数据进行了测试,比较了物体实例挖掘(OIM)方法与其他相关弱监督检测方法效果。结果表明,弱监督物体实例挖掘方法在定位精确率以及检测准确率均达到或超过目前最先进的方法。



OIM 与其他目前最先进的方法在 PASCAL VOC 2007 测试集上检测精确度的比较(AP) (%)



OIM 与其他目前最先进的方法在 PASCAL VOC 2007 训练验证集上定位精确度的比较(CorLoc) (%)



OIM 与其他目前最先进的方法在 PASCAL VOC 2012 验证集/测试集上检测精确度的比较(AP) (%)



OIM 与其他目前最先进的方法在 PASCAL VOC 2012 训练验证集上定位精确度的比较(CorLoc) (%)


论文作者:Chenhao Lin, Siwen Wang, Dongqi Xu, Yu Lu, Wayne Zhang


2020 年 2 月 15 日 12:044476

评论

发布
暂无评论
发现更多内容

架构作业-第2周

铁血杰克

架构师训练营第二周总结

hiqian

Java开发3年面试老被问到原理?不慌!SSM框架+JVM原理文档送给你

周老师

Java 程序员 面试 SSM框架 JVM原理

拼多多市值快 1000 亿美元了

池建强

创业 拼多多

设计原则——依赖倒置原则

GalaxyCreater

架构

RPC实战与核心原理-学习笔记(4)

程序员老王

作业2

annie

极客大学架构师训练营

Week2学习总结

铁血杰克

极客时间 - 架构师训练营 - week2 - 作业

毛聪

架构师训练营第二周作业

时来运转

极客大学架构师训练营第二周学习总结

竹森先生

设计模式 架构设计 极客大学架构师训练营 面向对象设计原则

架构师训练营-第二课作业-20200617-设计原则???

👑👑merlan

架构设计 软件设计

架构培训 -02 学习总结 架构师实现自己架构的主要手段

刘敏

【总结】框架设计之架构师实现自己架构目标的主要手段

魔曦

极客大学架构师训练营

架构师训练营第二周命题作业

whiter

极客大学架构师训练营

架构师训练营第2周作业

在野

极客大学架构师训练营

一周信创舆情观察(6.8~6.14)

统小信uos

新基建 信创

极客时间 - 架构师训练营 - week2 - 课堂笔记

毛聪

编程的本质

GalaxyCreater

架构

架构师训练营第二周总结

时来运转

游戏夜读 | 中国移动游戏简史

game1night

依赖倒置原则

金桔🍊

极客大学架构师训练营

02架构的方法论

ashuai1106

架构设计 极客大学架构师训练营 架构设计原则

依赖倒置原则理解

Thrine

架构师培训第二周作业

talen

第二周课程学习总结

Geek_a327d3

作业

第二周作业

王鑫龙

极客大学架构师训练营

外包程序员的幸福生活

四猿外

架构师0期week2-作业

小高

Spring Boot+Redis 扛住,瞬间千次重复提交(实例)

周老师

redis Spring Boot 幂等 服务Api

深入理解JVM垃圾回收机制 - 运行时栈帧的内存变化

WANDEFOUR

深入理解JVM 运行时栈帧

华为云 TechWave 全球技术峰会

华为云 TechWave 全球技术峰会

AAAI 2020论文解读:商汤科技提出新弱监督目标检测框架-InfoQ