FCon 全球金融科技大会日程已上线,5折抢票期,仅限前100人! 了解详情
写点什么

通用视觉的 GPT 时刻来临?智源推出通用分割模型 SegGPT,可「分割一切 」

  • 2023-04-09
    北京
  • 本文字数:1663 字

    阅读完需:约 5 分钟

通用视觉的GPT时刻来临?智源推出通用分割模型SegGPT,可「分割一切 」

ChatGPT 引发了语言大模型狂潮,AI 另一个重大领域 — 视觉的 GPT 时刻何时到来?


4 月 8 日,智源研究院视觉团队推出通用分割模型 SegGPT(Segment Everything In Context)——首个利用视觉提示(prompt)完成任意分割任务的通用视觉模型。

 

SegGPT 与 Meta AI 图像分割基础模型 SAM 同时发布,两者的差异在于:


• SegGPT“一通百通”:给出一个或几个示例图像和意图掩码,模型就能 get 用户意图,“有样学样”地完成类似分割任务。用户在画面上标注识别一类物体,即可批量化识别分割同类物体,无论是在当前画面还是其他画面或视频环境中。


• SAM“一触即通”:通过一个点或边界框,在待预测图片上给出交互提示,识别分割画面上的指定物体。

无论是“一触即通”还是“一通百通”,都意味着视觉模型已经“理解”了图像结构。SAM 精细标注能力与 SegGPT 的通用分割标注能力相结合,能把任意图像从像素阵列解析为视觉结构单元,像生物视觉那样理解任意场景,通用视觉 GPT 曙光乍现。

 


论文地址:https://arxiv.org/abs/2304.03284

代码地址:https://github.com/baaivision/Painter

Demo:https://huggingface.co/spaces/BAAI/SegGPT

 

SegGPT 是智源通用视觉模型 Painter 的衍生模型,针对分割一切物体的目标做出优化。SegGPT 训练完成后无需微调,只需提供示例即可自动推理并完成对应分割任务,包括图像和视频中的实例、类别、零部件、轮廓、文本、人脸等等。

 

该模型具有以下优势能力:


1. 通用能力:SegGPT 具有上下文推理能力,模型能够根据提供的分割示例(prompt),对预测进行自适应的调整,实现对“everything”的分割,包括实例、类别、零部件、轮廓、文本、人脸、医学图像等。

2. 灵活推理能力:支持任意数量的 prompt;支持针对特定场景的 tuned prompt;可以用不同颜色的 mask 表示不同目标,实现并行分割推理。

3. 自动视频分割和追踪能力:以第一帧图像和对应的物体掩码作为上下文示例,SegGPT 能够自动对后续视频帧进行分割,并且可以用掩码的颜色作为物体的 ID,实现自动追踪。

 

案例展示

 

1. 标注出一个画面中的彩虹(上图),可批量化分割其他画面中的彩虹(下图)



2. 作者在广泛的任务上对 SegGPT 进行了评估,包括少样本语义分割、视频对象分割、语义分割和全景分割。下图中具体展示了 SegGPT 在实例、类别、零部件、轮廓、文本和任意形状物体上的分割结果。




3. 用画笔大致圈出行星环带(上图),在预测图中准确输出目标图像中的行星环带(下图)。

 



4. SegGPT 能够根据用户提供的宇航员头盔掩码这一上下文(上图),在新的图片中预测出对应的宇航员头盔区域(下图)。




训练方法

 

SegGPT 将不同的分割任务统一到一个通用的上下文学习框架中,通过将各类分割数据转换为相同格式的图像来统一各式各样的数据形式。


具体来说,SegGPT 的训练被定义为一个上下文着色问题,对于每个数据样本都有随机的颜色映射。目标是根据上下文完成各种任务,而不是依赖于特定的颜色。训练后,SegGPT 可以通过上下文推理在图像或视频中执行任意分割任务,例如实例、类别、零部件、轮廓、文本等。



Test-time techniques

 

如何通过 test-time techniques 解锁各种能力是通用模型的一大亮点。SegGPT 论文中提出了多个技术来解锁和增强各类分割能力,比如下图所示的不同的 context ensemble 方法。所提出的 Feature Ensemble 方法可以支持任意数量的 prompt 示例,实现丰俭由人的推理效果。

 


此外,SegGPT 还支持对特定场景优化专用 prompt 提示。对于针对性的使用场景,SegGPT 可以通过 prompt tuning 得到对应 prompt,无需更新模型参数来适用于特定场景。比如,针对某一数据集自动构建一个对应的 prompt,或者针对一个房间来构建专用 prompt。如下图所示:

 


结果展示

 

模型只需少数 prompt 示例,在 COCO 和 PASCAL 数据集上取得最优性能。SegGPT 显示出强大的零样本场景迁移能力,比如在少样本语义分割测试集 FSS-1000 上,在无需训练的情况下取得 state-of-the-art 性能。




无需视频训练数据,SegGPT 可直接进行视频物体分割,并取得和针对视频物体分割专门优化的模型相当的性能。



以下是基于 tuned prompt 在语义分割和实例分割任务上的效果展示:



2023-04-09 12:564807
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 462.8 次阅读, 收获喜欢 1950 次。

关注

评论 1 条评论

发布
用户头像
謝謝分享。
2023-04-10 13:43 · 中国香港
回复
没有更多了
发现更多内容

敏捷开发需要内外兼修

Bruce Talk

敏捷开发 Agile

十三、数据应用二

Geek_28b526

架构师训练营第2期 第13周命题作业

月下独酌

架构师训练营第2期

软件架构-缓存技术

看山

缓存 架构

Soul 网关源码阅读(六)Sofa请求处理概览

Java 源码阅读 网关

外星人?他们在哪儿呢?「幻想短篇 10/28」

道伟

28天写作

项目管理系列 (5)-沟通规划

Ian哥

项目管理 沟通与管理 28天写作

架构师课程--第十三周作业

孤星

十三周总结

水浴清风

HTML(一)——html相关介绍

程序员的时光

程序员 28天写作

绩效管理,上下同心者胜(二)

一笑

管理 绩效 28天写作

Hbase性能优化百科全书

王知无

大数据 HBase

架构师训练营第2期 第13周总结

月下独酌

架构师训练营第2期

面试官:Netty的线程模型可不只是主从多Reactor这么简单

中间件兴趣圈

reactor Netty nio 中间件 线程模型

最长公共前缀字符串, RxSwift的概念详细解析, 极客大学认识产品经理 John 易筋 ARTS 打卡 Week 35

John(易筋)

ARTS 打卡计划 最长公共前缀字符串 RxSwift的概念详细解析 极客大学认识产品经理 极客大学产品经理训练营

你不可不知的任务调度神器-AirFlow

王知无

spark 数据可视化 airflow

架构师训练营 4 期 第3周

引花眠

架构师训练营 4 期

Spring-Spring整合MyBatis原理分析

魔曦

【计算机内功修炼】七:高并发高性能服务器是如何实现的

码农的荒岛求生

高并发 事件驱动 高性能 Event Driven 高并发优化

ClickHouse在大数据领域企业级应用实践和探索总结

王知无

大数据 Clickhouse

HDFS中的常用压缩算法及区别

王知无

大数据 hdfs

Springboot 中的切面AOP处理

武哥聊编程

Java aop springboot SpringBoot 2 28天写作

如何 debug hive 源码,知其然知其所以然

王凯

hive 源码分析

英雄惜英雄-当Spark遇上Zeppelin之实战案例

王知无

大数据 spark

产品训练营第一周作业

孤星

HDFS杂谈:Xattrs扩展属性

罗小龙

hadoop hdfs 28天写作

新名词意味着什么?

lidaobing

28天写作 名词

Flink1.12集成Hive打造自己的批流一体数仓

王知无

大数据 flink

第 13 周 系统架构总结

心在那片海

第 13 周 系统架构作业

心在那片海

长期主义是一种生活态度

JiangX

28天写作 价值 长期主义

  • 扫码添加小助手
    领取最新资料包
通用视觉的GPT时刻来临?智源推出通用分割模型SegGPT,可「分割一切 」_AI_刘燕_InfoQ精选文章