AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

通用视觉的 GPT 时刻来临?智源推出通用分割模型 SegGPT,可「分割一切 」

  • 2023-04-09
    北京
  • 本文字数:1663 字

    阅读完需:约 5 分钟

通用视觉的GPT时刻来临?智源推出通用分割模型SegGPT,可「分割一切 」

ChatGPT 引发了语言大模型狂潮,AI 另一个重大领域 — 视觉的 GPT 时刻何时到来?


4 月 8 日,智源研究院视觉团队推出通用分割模型 SegGPT(Segment Everything In Context)——首个利用视觉提示(prompt)完成任意分割任务的通用视觉模型。

 

SegGPT 与 Meta AI 图像分割基础模型 SAM 同时发布,两者的差异在于:


• SegGPT“一通百通”:给出一个或几个示例图像和意图掩码,模型就能 get 用户意图,“有样学样”地完成类似分割任务。用户在画面上标注识别一类物体,即可批量化识别分割同类物体,无论是在当前画面还是其他画面或视频环境中。


• SAM“一触即通”:通过一个点或边界框,在待预测图片上给出交互提示,识别分割画面上的指定物体。

无论是“一触即通”还是“一通百通”,都意味着视觉模型已经“理解”了图像结构。SAM 精细标注能力与 SegGPT 的通用分割标注能力相结合,能把任意图像从像素阵列解析为视觉结构单元,像生物视觉那样理解任意场景,通用视觉 GPT 曙光乍现。

 


论文地址:https://arxiv.org/abs/2304.03284

代码地址:https://github.com/baaivision/Painter

Demo:https://huggingface.co/spaces/BAAI/SegGPT

 

SegGPT 是智源通用视觉模型 Painter 的衍生模型,针对分割一切物体的目标做出优化。SegGPT 训练完成后无需微调,只需提供示例即可自动推理并完成对应分割任务,包括图像和视频中的实例、类别、零部件、轮廓、文本、人脸等等。

 

该模型具有以下优势能力:


1. 通用能力:SegGPT 具有上下文推理能力,模型能够根据提供的分割示例(prompt),对预测进行自适应的调整,实现对“everything”的分割,包括实例、类别、零部件、轮廓、文本、人脸、医学图像等。

2. 灵活推理能力:支持任意数量的 prompt;支持针对特定场景的 tuned prompt;可以用不同颜色的 mask 表示不同目标,实现并行分割推理。

3. 自动视频分割和追踪能力:以第一帧图像和对应的物体掩码作为上下文示例,SegGPT 能够自动对后续视频帧进行分割,并且可以用掩码的颜色作为物体的 ID,实现自动追踪。

 

案例展示

 

1. 标注出一个画面中的彩虹(上图),可批量化分割其他画面中的彩虹(下图)



2. 作者在广泛的任务上对 SegGPT 进行了评估,包括少样本语义分割、视频对象分割、语义分割和全景分割。下图中具体展示了 SegGPT 在实例、类别、零部件、轮廓、文本和任意形状物体上的分割结果。




3. 用画笔大致圈出行星环带(上图),在预测图中准确输出目标图像中的行星环带(下图)。

 



4. SegGPT 能够根据用户提供的宇航员头盔掩码这一上下文(上图),在新的图片中预测出对应的宇航员头盔区域(下图)。




训练方法

 

SegGPT 将不同的分割任务统一到一个通用的上下文学习框架中,通过将各类分割数据转换为相同格式的图像来统一各式各样的数据形式。


具体来说,SegGPT 的训练被定义为一个上下文着色问题,对于每个数据样本都有随机的颜色映射。目标是根据上下文完成各种任务,而不是依赖于特定的颜色。训练后,SegGPT 可以通过上下文推理在图像或视频中执行任意分割任务,例如实例、类别、零部件、轮廓、文本等。



Test-time techniques

 

如何通过 test-time techniques 解锁各种能力是通用模型的一大亮点。SegGPT 论文中提出了多个技术来解锁和增强各类分割能力,比如下图所示的不同的 context ensemble 方法。所提出的 Feature Ensemble 方法可以支持任意数量的 prompt 示例,实现丰俭由人的推理效果。

 


此外,SegGPT 还支持对特定场景优化专用 prompt 提示。对于针对性的使用场景,SegGPT 可以通过 prompt tuning 得到对应 prompt,无需更新模型参数来适用于特定场景。比如,针对某一数据集自动构建一个对应的 prompt,或者针对一个房间来构建专用 prompt。如下图所示:

 


结果展示

 

模型只需少数 prompt 示例,在 COCO 和 PASCAL 数据集上取得最优性能。SegGPT 显示出强大的零样本场景迁移能力,比如在少样本语义分割测试集 FSS-1000 上,在无需训练的情况下取得 state-of-the-art 性能。




无需视频训练数据,SegGPT 可直接进行视频物体分割,并取得和针对视频物体分割专门优化的模型相当的性能。



以下是基于 tuned prompt 在语义分割和实例分割任务上的效果展示:



2023-04-09 12:567225
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 572.0 次阅读, 收获喜欢 1980 次。

关注

评论 1 条评论

发布
用户头像
謝謝分享。
2023-04-10 13:43 · 中国香港
回复
没有更多了
发现更多内容

祝贺!openGauss社区技术委员会主席李国良当选2023 IEEE FELLOW

daydayup

IoTOS-App v0.6.0 智能诊断、用量/会话记录、批量业务办理、

开源物联卡管理平台-设备管理

物联网平台 IoT 开源软件 国产开源 物联网展

关于远程直接内存访问技术 RDMA 的高性能架构设计介绍 | 龙蜥技术

OpenAnolis小助手

开源 数据 cpu 龙蜥大讲堂 RDMA

低代码在数智化时代中的应用

力软低代码开发平台

什么是MES,什么是WMS,MES与WMS有什么区别?

优秀

MES系统 WMS系统

PoseiSwap:通过 RWA 的全新叙事,反哺 Nautilus Chain 生态

股市老人

基于P2P技术的远距离传输大型文件解决方案

镭速

p2p 文件传输 远距离传输大型文件

最全的3D动画软件介绍来了!良心总结9款3D动画制作必备软件

龙智—DevSecOps解决方案

Unity 虚幻引擎 maya 3D动画软件 Houdini

龙蜥社区用户案例征集开始啦,欢迎投稿!

OpenAnolis小助手

数据 操作系统 征稿 案例 龙蜥社区

探索运营商渠道佣金数字化运营

鲸品堂

数字化转型 企业 运营商 电信运营商 企业号 7 月 PK 榜

Squids openGauss | 云上免费openGauss数据库服务

daydayup

Apache IoTDB v1.1.1/v1.1.2 发布|增加 ZSTD 压缩,show variables 增加时间精度

Apache IoTDB

IoTDB Apache IoTDB

程序员在今年这种行情下如何快速找到合适的工作?

程序员小毕

程序员 后端 面试题 架构师 java面试

【我和openGauss的故事】openGauss的WDR报告解读

daydayup

openGauss内核分析(四):查询重写(二)

daydayup

杭州快盈施佳:基于支付宝小程序云的文旅数智新实践

TRaaS

小程序

openGauss内核分析(三):SQL解析

daydayup

openGauss获2022年度创新产品奖!

daydayup

openGauss运维能力之SQLPatch解密

daydayup

SQL 执行计划管理(SPM)

KaiwuDB

KaiwuDB SPM

【我和openGauss的故事】openGauss易知易会的几个实用特性

daydayup

提升数据质量的四大有效方式

树上有只程序猿

数字化 数据质量

已确认!将数据安全管理纳入操作风险管理范畴

原点安全

DHorse v1.3.0 发布,基于k8s的发布平台

tiandizhiguai

DevOps k8s

无门槛访问AI智能对话+最强AI绘画的方式

大数据技术指南

AI绘画 ChatGPT

从0到1!得物如何打造通用大模型训练和推理平台

得物技术

算法 大模型 ChatGPT LLM

数字人第一剑,先斩“尹天仇”

脑极体

AI

亚马逊云科技如何助力中国企业建立“出海”的云端母港?

Lily

openGauss+Wasm:构建安全高效的UDF执行引擎

daydayup

通用视觉的GPT时刻来临?智源推出通用分割模型SegGPT,可「分割一切 」_AI&大模型_刘燕_InfoQ精选文章