AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

通用视觉的 GPT 时刻来临?智源推出通用分割模型 SegGPT,可「分割一切 」

  • 2023-04-09
    北京
  • 本文字数:1663 字

    阅读完需:约 5 分钟

通用视觉的GPT时刻来临?智源推出通用分割模型SegGPT,可「分割一切 」

ChatGPT 引发了语言大模型狂潮,AI 另一个重大领域 — 视觉的 GPT 时刻何时到来?


4 月 8 日,智源研究院视觉团队推出通用分割模型 SegGPT(Segment Everything In Context)——首个利用视觉提示(prompt)完成任意分割任务的通用视觉模型。

 

SegGPT 与 Meta AI 图像分割基础模型 SAM 同时发布,两者的差异在于:


• SegGPT“一通百通”:给出一个或几个示例图像和意图掩码,模型就能 get 用户意图,“有样学样”地完成类似分割任务。用户在画面上标注识别一类物体,即可批量化识别分割同类物体,无论是在当前画面还是其他画面或视频环境中。


• SAM“一触即通”:通过一个点或边界框,在待预测图片上给出交互提示,识别分割画面上的指定物体。

无论是“一触即通”还是“一通百通”,都意味着视觉模型已经“理解”了图像结构。SAM 精细标注能力与 SegGPT 的通用分割标注能力相结合,能把任意图像从像素阵列解析为视觉结构单元,像生物视觉那样理解任意场景,通用视觉 GPT 曙光乍现。

 


论文地址:https://arxiv.org/abs/2304.03284

代码地址:https://github.com/baaivision/Painter

Demo:https://huggingface.co/spaces/BAAI/SegGPT

 

SegGPT 是智源通用视觉模型 Painter 的衍生模型,针对分割一切物体的目标做出优化。SegGPT 训练完成后无需微调,只需提供示例即可自动推理并完成对应分割任务,包括图像和视频中的实例、类别、零部件、轮廓、文本、人脸等等。

 

该模型具有以下优势能力:


1. 通用能力:SegGPT 具有上下文推理能力,模型能够根据提供的分割示例(prompt),对预测进行自适应的调整,实现对“everything”的分割,包括实例、类别、零部件、轮廓、文本、人脸、医学图像等。

2. 灵活推理能力:支持任意数量的 prompt;支持针对特定场景的 tuned prompt;可以用不同颜色的 mask 表示不同目标,实现并行分割推理。

3. 自动视频分割和追踪能力:以第一帧图像和对应的物体掩码作为上下文示例,SegGPT 能够自动对后续视频帧进行分割,并且可以用掩码的颜色作为物体的 ID,实现自动追踪。

 

案例展示

 

1. 标注出一个画面中的彩虹(上图),可批量化分割其他画面中的彩虹(下图)



2. 作者在广泛的任务上对 SegGPT 进行了评估,包括少样本语义分割、视频对象分割、语义分割和全景分割。下图中具体展示了 SegGPT 在实例、类别、零部件、轮廓、文本和任意形状物体上的分割结果。




3. 用画笔大致圈出行星环带(上图),在预测图中准确输出目标图像中的行星环带(下图)。

 



4. SegGPT 能够根据用户提供的宇航员头盔掩码这一上下文(上图),在新的图片中预测出对应的宇航员头盔区域(下图)。




训练方法

 

SegGPT 将不同的分割任务统一到一个通用的上下文学习框架中,通过将各类分割数据转换为相同格式的图像来统一各式各样的数据形式。


具体来说,SegGPT 的训练被定义为一个上下文着色问题,对于每个数据样本都有随机的颜色映射。目标是根据上下文完成各种任务,而不是依赖于特定的颜色。训练后,SegGPT 可以通过上下文推理在图像或视频中执行任意分割任务,例如实例、类别、零部件、轮廓、文本等。



Test-time techniques

 

如何通过 test-time techniques 解锁各种能力是通用模型的一大亮点。SegGPT 论文中提出了多个技术来解锁和增强各类分割能力,比如下图所示的不同的 context ensemble 方法。所提出的 Feature Ensemble 方法可以支持任意数量的 prompt 示例,实现丰俭由人的推理效果。

 


此外,SegGPT 还支持对特定场景优化专用 prompt 提示。对于针对性的使用场景,SegGPT 可以通过 prompt tuning 得到对应 prompt,无需更新模型参数来适用于特定场景。比如,针对某一数据集自动构建一个对应的 prompt,或者针对一个房间来构建专用 prompt。如下图所示:

 


结果展示

 

模型只需少数 prompt 示例,在 COCO 和 PASCAL 数据集上取得最优性能。SegGPT 显示出强大的零样本场景迁移能力,比如在少样本语义分割测试集 FSS-1000 上,在无需训练的情况下取得 state-of-the-art 性能。




无需视频训练数据,SegGPT 可直接进行视频物体分割,并取得和针对视频物体分割专门优化的模型相当的性能。



以下是基于 tuned prompt 在语义分割和实例分割任务上的效果展示:



2023-04-09 12:567215
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 570.8 次阅读, 收获喜欢 1979 次。

关注

评论 1 条评论

发布
用户头像
謝謝分享。
2023-04-10 13:43 · 中国香港
回复
没有更多了
发现更多内容

(module6)电商微服务系统拆分

消失的子弹

拆分电商系统为微服务

Yina🌝很浪🌊

推荐7款超实用的推特推特下载器,包括电脑和手机上使用(小伙伴们快快收藏起来)

So...

twitter 推特视频下载 推特 x x视频下载

架构实战营模块六作业 - 拆分电商系统为微服务

李焕之

架构设计六 如何设计业务的微服务架构

nydia

微服务 架构设计

零信任能力成熟度模型白皮书发布!内附下载资源

华为云开发者联盟

安全 隐私保护 华为云 网络架构 零信任

实现服务器和客户端数据交互,Java Socket有妙招

华为云开发者联盟

socket 进程 服务器 客户端 java

顶会VLDB'22论文解读:多元时序预测算法METRO

华为云开发者联盟

数据库 华为云 多元时序预测算法 VLDB'22 华为云数据库创新Lab

云图说 | 分布式缓存服务DCS—站在开源Redis前辈的肩膀上,扬帆起航

华为云开发者联盟

redis 缓存 分布式 华为云 DCS

netty系列之:netty对http2消息的封装

程序那些事

Java Netty 程序那些事 http2

Python代码阅读(第44篇):寻找符合条件的元素的位置

Felix

Python 编程 Code Programing 阅读代码

谐云边缘计算大规模落地实践,带你见证边缘的力量!

谐云

云计算 边缘计算

华为在HDC2021发布全新HMS Core 6 宣布跨OS能力开放

叶落便知秋

1024程序员:算法&仓鼠&创业

博文视点Broadview

vivo AI 计算平台的 ACK 混合云实践

阿里巴巴云原生

阿里云 云原生 ACK Vivo

模块一:为何架构设计能力难以提升? --学习总结

小鹿

【KubeMeet 上海站回顾】 探索云原生应用管理与交付新解法

阿里巴巴云原生

阿里云 开源 云原生 KubeMeet

电商系统微服务系统设计

Imaginary

Vue进阶(幺伍零):巧用 key 提升页面渲染性能及触发生命周期函数

No Silver Bullet

Vue 渲染性能 10月月更

1024程序员节的正确打开方式

云智慧AIOps社区

程序员 开源技术 1024我在现场 飞鱼 云智慧

架构实战训练营模块 6 作业

Sonichen

基于 RocketMQ 的基金数字化陪伴体系的架构实践

阿里巴巴云原生

阿里云 RocketMQ 云原生 消息队列 金融场景

go-zero 实战之 blog 系统

万俊峰Kevin

golang 微服务 go-zero

2021年秋季明道云伙伴大会,邀您参与!

明道云

爱奇艺联合WSDM发起用户留存预测挑战赛

爱奇艺技术产品团队

第 23 章 -《Linux 一学就会》- expect - 正则表达式-sed-cut的使用

学神来啦

Linux Shell linux运维 linux云计算 linux一学就会

华为首次采用数字人全程实时手语直播,并宣布全面开放手语服务能力

叶落便知秋

模块一作业

小鹿

极客时间架构实战营作业六

jjn0703

架构实战营

0 基础架构入门 - 6(电商系统微服务架构)

felix

架构实战营 0 基础架构入门

收藏这36个正则表达式,开发效率提高80%

Tom弹架构

Java 正则表达式

通用视觉的GPT时刻来临?智源推出通用分割模型SegGPT,可「分割一切 」_AI&大模型_刘燕_InfoQ精选文章