QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

清华大学与智谱 AI 联合推出 CogAgent:基于多模态大模型的 GUI Agent,具备视觉问答、视觉定位等能力

  • 2023-12-27
    北京
  • 本文字数:1604 字

    阅读完需:约 5 分钟

大小:811.10K时长:04:36
清华大学与智谱AI联合推出CogAgent:基于多模态大模型的GUI Agent,具备视觉问答、视觉定位等能力

近日,清华 KEG 实验室与智谱 AI 联合推出了视觉 GUI Agent——CogAgent,CogAgent 是一个通用的视觉理解大模型,具备视觉问答、视觉定位(Grounding)、GUI Agent 等多种能力,可接受 1120×1120 的高分辨率图像输入。在 9 个经典的图像理解榜单上(含 VQAv2,STVQA, DocVQA,TextVQA,MM-VET,POPE 等)取得了通用能力第一的成绩,并在涵盖电脑、手机的 GUI Agent 数据集上(含 Mind2Web,AITW 等),大幅超过基于 LLM 的 Agent,取得第一。

 

在网页Agent数据集Mind2Web上的性能


在手机Agent数据集AITW上的性能


为了更好地促进多模态大模型、Agent 社区的发展,目前团队已将 CogAgent-18B 开源至 GitHub 仓库,并提供了网页版 Demo。

 

视觉 GUI Agent

 

基于语言预训练模型(LLM)的 Agent 是当下热门的研究话题,其具备良好的应用前景。但受限于 LLM 的模态,它只能接受语言形式的输入。拿网页 Aagent 为例,WebAgent 等工作将网页 HTML 连同用户目标(例如“Can you search for CogAgent on google”)作为 LLM 的输入,从而获得 LLM 对下一步动作的预测(例如点击按钮,输入文本)。

 

然而,一个有趣的观察是,人类是通过视觉与 GUI 交互的。比如,面对一个网页,当给定一个操作目标时,人类会先观察他的 GUI 界面,然后决定下一步做什么;与此同时,GUI 天然是为了人机交互设计的,相比于 HTML 等文本模态的表征,GUI 更为直接简洁,易于获取有效信息。也就是说,在 GUI 场景下,视觉是一种更为直接、本质的交互模态,能更高效完整提供环境信息;更进一步地,很多 GUI 界面并没有对应的源码,也难以用语言表示。因此,若能将大模型改进为视觉 Agent,将 GUI 界面以视觉的形式直接输入大模型中用于理解、规划和决策,将是一个更为直接有效、具备极大提升空间的方法。

 

CogAgent 可以实现基于视觉的 GUI Agent,其工作路径与能力如下:



CogAgent 模型同时接受当前 GUI 截图(图像形式)和用户操作目标(文本形式,例如“search for the best paper in CVPR 2023”)作为输入,就能预测详细的动作,和对应操作元素的位置坐标。可以应用于包括电脑、手机的各种场景。受益于 GUI Agent 的可泛化性,CogAgent 能在各类没见过的场景与任务上都取得良好的性能。论文中展示了更多示例,覆盖了 PPT、手机系统、社交软件、游戏等各类场景

CogAgent 的模型结构及训练方法

 

据介绍,CogAgent 的模型结构基于 CogVLM。为了使模型具备对高分辨率图片的理解能力,可以看清 720p 的 GUI 屏幕输入,团队将图像输入的分辨率大幅提升至 1120×1120(以往的模型通常小于 500×500,包括 CogVLM,Qwen-VL 等)。然而,分辨率的提升会导致图像序列急剧增长,带来难以承受的计算和显存开销——这也是现有多模态预训练模型通常采用较小分辨率图像输入的原因之一。

 

对此,团队设计了轻量级的“高分辨率交叉注意力模块”,在原有低分辨率大图像编码器(4.4 B)的基础上,增加了高分辨率的小图像编码器(0.3 B),并使用交叉注意力机制与原有的 VLM 交互。在交叉注意力中,团队也使用了较小的 hidden size,从而进一步降低显存与计算开销。



结果表明,该方法可以使模型成功理解高分辨率的图片,并有效降低了显存与计算开销。在消融实验中,团队还比较了该结构与 CogVLM 原始方法的计算量。结果表明,当分辨率提升时,使用文中提出的方案(with cross-module,橙色)将会带来极少量的计算量增加,并与图像序列的增长成线性关系。特别的,1120×1120 分辨率的 CogAgent 的计算开销(FLOPs),甚至比 490×490 分辨率的 CogVLM 的 1/2 还要小。在 INT4 单卡推理测试中,1120×1120 分辨率的 CogAgent 模型占用约 12.6GB 的显存,相较于 224×224 分辨率的 CogVLM 仅高出不到 2GB。



在数据方面,除了 CogVLM 用到的 image caption 数据集之外,团队在文本识别、视觉定位、GUI 图像理解方面进行了数据扩充与增强,从而有效提升了 GUI Agent 场景下的性能。(CogAgent 的预训练和微调数据的采集、生成方法详细介绍于论文的 2.2 和 2.3 部分。)

2023-12-27 17:1211422

评论 1 条评论

发布
用户头像
厉害!
2024-01-03 15:35 · 四川
回复
没有更多了
发现更多内容

如何将您的 API 管理从 Swagger 迁移到 Apifox:详细步骤

Apifox

Apifox 接口文档 API swagger API 文档

发挥财务规划隐藏的超能力,实现企业业务与财务的协作

智达方通

企业管理 全面预算管理 财务管理 财务规划

扫码报名活动时,如何避免重复报名?

草料二维码

二维码 活动报名 草料二维码

保姆级教程:Redis主从复制原理及集群搭建

小曾同学.com

redis主从 redis哨兵集群 redis 底层原理 redis主从集群 redis数据同步原理

Stable diffusion采样器详解

程序那些事

程序那些事 Stable Diffusion

仓库数据同步难题如何轻松破解?

聚道云软件连接器

案例分享

降本增效下的自动化测试实践

老张

软件测试 研发效能 自动化测试 质量保障

深入剖析时序Prophet模型:工作原理与源码解析|得物技术

得物技术

时序数据库 源码剖析 大模型 企业号2024年6月PK榜 ptophet

堡垒机的自动化运维,快速安全提升运维效率

行云管家

数据安全 堡垒机 自动化运维

淘宝商品详情API接口:轻松获取商品SKU信息,优化库存管理

技术冰糖葫芦

API boy API 接口 API 测试

探索大模型技术及其前沿应用——TextIn文档解析技术

Yan-英杰

大模型 文档解析 文档解析技术

NFTScan 获 Google Cloud 战略支持!

NFT Research

Google Cloud NFT\ NFTScan

软件测试公开课 | Python高频面试题解析公开课

测试人

软件测试

RESTful API 设计原则:优化您的接口设计

Liam

后端 Rest API APi设计 REST API

数据觉醒时代,以“存力”激活数据资产潜能

优刻得云计算

大数据 数据要素流通

1688批量自动下单接口丨1688代采系统丨1688跨境代采系统

tbapi

1688批量采购 1688代购系统

告别繁琐,一键同步!聚道云助力企业人力资源大升级

聚道云软件连接器

案例分享

🚀 CI+GPT双引擎驱动,🤖 开启AI代码评审新纪元

京东科技开发者

Python高频面试题解析公开课

测吧(北京)科技有限公司

测试

用这个方法给苹果电脑清理app垃圾,让电脑快如闪电

阿拉灯神丁

CleanMyMac Mac 系统 苹果软件 杀毒软件

用Python打造你的微博热搜追踪器

我再BUG界嘎嘎乱杀

Python 后端 开发语言

工信部《工业和信息化领域数据安全风险评估实施细则(试行)》实行,行云管家数据产品助力企业数据安全

行云管家

信息安全 数据安全 数据安全管理

企业号 6 月 PK 榜,火热开启!

InfoQ写作社区官方

热门活动 企业号2024年6月PK榜

Web3 游戏周报(5.26 - 6.01)

Footprint Analytics

链游

实时分析用户反馈:淘宝商品评论API助力电商创新

技术冰糖葫芦

API boy API 接口 API 测试

“码”力全开!高效开发就靠这款神器

ZEGO即构

UI 自定义组件 即构UIkits UIKits

斯坦福 AI 团队被曝抄袭中国大模型开源成果;Zoom 创始人谈视频会议未来丨 RTE 开发者日报 Vol.218

声网

清华大学与智谱AI联合推出CogAgent:基于多模态大模型的GUI Agent,具备视觉问答、视觉定位等能力_AI&大模型_凌敏_InfoQ精选文章