写点什么

智谱发布自主 Agent 全家桶,目标:让打工人实现“光说不干”!

  • 2024-11-29
    北京
  • 本文字数:1790 字

    阅读完需:约 6 分钟

大小:891.68K时长:05:04
智谱发布自主Agent全家桶,目标:让打工人实现“光说不干”!

整理 |华卫

 

“来自 AI 的微信红包已派发,请查收!”

 

在今天的智谱 OpenDay 现场,智谱 CEO 张鹏只向 AutoGLM 下达了一个简单语音指令,就成功执行了这个操作。

 

现场,智谱带来了多个通过 Agent 操作手机、电脑,甚至手机电脑联动的新进展:

  • AutoGLM 可以自主执行超过 50 步的长步骤操作,也可以跨 app 执行任务

  • AutoGLM 开启“全自动”上网新体验,支持等数十个网站的无人驾驶

  • 像人一样操作计算机的 GLM-PC 启动内测,基于视觉多模态模型实现通用 Agent 的技术探索

 

此外,张鹏还展示了通过手机给 GLM-PC 发消息,让 GLM-PC 自动进行发送文件等电脑操作的过程。据介绍,GLM-PC 还可以在开机状态下执行定时任务,比如定时发日报等。

 

原本对于机器而言非常复杂的操作,现在可以由智谱产品化的 Agent 完成,大模型正在从只有对话功能的 Chatbot 走向能够进行实际物理操作的自主 Agent。张鹏表示,“Agent 将极大地提升 L3 使用工具能力,同时开启对 L4 自我学习能力的探索。”

 

AutoGLM 新升级:挑战更复杂

 

在张鹏看来,Agent 可以看作是大模型通用操作系统 LLM-OS 的雏形。

 

“现阶段,AutoGLM 相当于在人与应用之间添加一个执行的调度层,很大程度上改变人机的交互形式。更重要的是,我们看到了 LLM-OS 的可能,基于大模型智能能力(从 L1 到 L4 乃至更高),未来有机会实现原生的人机交互。将人机交互范式带向新的阶段。”

 

据张鹏介绍,新升级的 AutoGLM 可以挑战完成以下复杂任务:

 

1. 超长任务:理解超长指令,执行超长任务。例如,在采购火锅食材的例子中,AutoGLM 自主执行了 54 步无打断操作。并且,在这种多步、循环任务中,AutoGLM 的速度表现超过人手动操作。

2. 跨 app :AutoGLM 支持跨 App 来执行任务。用户可以习惯于 AI 自动处理,而不是在多个 APP 间来回切换。由于目前 AutoGLM 形态更像是用户和应用间的 APP 执行的调度层,因此跨 App 能力是里面非常关键的一步。

3. 短口令:AutoGLM 能够支持长任务的自定义短语。

4. 随便模式:AutoGLM 可以主动帮用户做出决策,带来抽盲盒式的惊喜。

 

支持核心场景和核心应用的 AutoGLM 标品 API,会在两周内上线到智谱 maas 开放平台(bigmodel.cn)试用。同时,AutoGLM 启动大规模内测,并将尽快上线成为面向 C 端用户的产品。(autoglm-安卓:https://agent.aminer.cn/

 

Web 端也将开启“全自动”上网新体验,即日起智谱清言插件上线 AutoGLM 功能,支持搜索、微博、知乎、Github 等数十个网站的“无人驾驶”。(清言插件:https://new-front.chatglm.cn/webagent/landing/index.html?channel=ads_news_openday

 

GLM-PC :面向“无人驾驶”PC 的技术探索

 

不只是基于手机和浏览器,智谱还带来了基于 PC 的自主 Agent。

 

据其介绍,GLM-PC 的技术路线是一种拟人的多模态的感知,基于智谱自研的 UI Agent 视觉基座模型 CogAgent。模型仅需视觉截图作为输入,无需依赖 HTML 等语言表征,可应用至任意图形用户界面,具备极强的跨平台、跨系统泛化能力。

 

glm-pc:https://www.wjx.top/vm/mOs9cHw.aspx

 

简单来说,GLM-PC 用电脑的方式几乎完全和人一样。人在电脑上办公的过程是,用眼看图形、图像、文字,然后用脑规划,再用手执行单击双击、滚动、输入、悬浮等操作。GLM-PC 同样也是把用电脑的动作拆解如上,最终准确输出具体动作(精确至坐标)。

 

也正因如此,理论上只要是为人类设计的应用,在 GLM-PC 学习之后它都能够执行。这是一种系统级、跨平台的能力,不依赖于 HTML、API,而且具备更高的能力上限。

 

目前开放第一阶段的内测场景,包括:

1. 会议替身:帮用户预定和参与会议,发送会议总结。

2. 文档处理:支持文档下载、文档发送、理解和总结文档。

3. 网页搜索与总结:在指定平台(如微信公众号、知乎、小红书等)搜索指定关键词,完成阅读、总结。

4. 远程和定时操作:远程手机发指令,GLM-PC 可以自主完成电脑操作;设定一个未来时间,在开机状态下定时执行任务。

5. 隐形屏幕:在用户工作时,GLM-PC 可以在隐形屏幕上自主完成工作,解放屏幕使用权。

 

不过,GLM-PC 在当前版本下,用户仍需要输入非常精准的指令。张鹏解释道,由于 PC 的复杂程度,以及大家在 PC 完成的几乎都是复杂任务,今天大模型的能力距离真正代替办公还有一定距离。

 

但张鹏表示,未来 GLM 团队将继续加速 Agent 模型产品的研发,期待着一句话操作电脑和手机的范式尽快到来。到那时,Agent 或许真有望帮助打工人实现“光说不干”的一天。

 

2024-11-29 23:2410461

评论

发布
暂无评论
发现更多内容

YashanDB|复合索引用了也慢?IN 参数太多时建议这样调

数据库砖家

数据库

合合信息上线智能文档处理领域首批MCP服务,助力企业快速搭建Agent

合合技术团队

人工智能 算法 #大数据

macOS Sonoma 14.7.6 (23H626) Boot ISO 原版可引导镜像下载

sysin

macos

Mint Blockchain 主网上线一周年回顾:增长之年与未来展望

NFT Research

NFT web3、

Qwen3 系列全家桶,百度百舸一键部署

百度Geek说

会议纪要自动生成软件!AI一键搞定会议纪要,办公必备!

职场工具箱

人工智能 AI 办公软件 AIGC 会议纪要

鸿蒙HarmonyOS开发:零基础也能成为开发者

Lethehong

鸿蒙 HarmonyOS HarmonyOS NEXT DeepSeek v3 实践分享

工厂管理中的5个常见误区,90%的企业都踩过!

积木链小链

数字化转型 智能制造 工厂管理

YashanDB |报错 no free block in dictionary cache?共享集群中的卡顿真凶找到了

数据库砖家

数据库

CST软件如何将单端转换为差模共模

思茂信息

cst CST软件 CST Studio Suite

C#多线程编程精要:从用户线程到线程池的效能进化论

不在线第一只蜗牛

C#

YashanDB |YMP 迁移时报错 account lock?别让低版本 OpenSSL 坑了你

数据库砖家

理解 C# 中的各类指针

电子尖叫食人鱼

Java C#

YashanDB|Oracle 中的 pipelined 表函数迁移不过?这样改写就对了

数据库砖家

数据库

中国版Cursor:基于CodeBuddy与EdgeOne Pages的在线键盘测试工具开发方案

穿过生命散发芬芳

MCP CodeBuddy CodeBuddy首席试玩官

HyperWorks卫星惯性释放分析(OptiStruct)

智造软件

仿真 Hypermesh hyperworks

YashanDB|JDBC getString 取 DATE 字段不带时分秒?两个方法解决!

数据库砖家

数据库

【华为云MySQL技术专栏】MySQL分区裁剪,提升分区表查询性能

华为云开发者联盟

:MySQL 数据库 ,华为云

浅谈低代码开发中的元数据框架

inBuilder低代码平台

YashanDB|IN 参数超 300 个,查询突然变慢?问题可能出在执行计划上

数据库砖家

数据库·

智源联合南开大学开源Chinese-LiPS中文多模态语音识别数据集

智源研究院

2025“一录同行”广州首站落幕!金贝灯光赋能影视创作新浪潮

科技热闻

国家信息安全等级保护三级认证定义以及流程简单讲解

行云管家

网络安全 数据安全 等保 等保测评

推荐几个常用免费的文本转语音工具

石臻臻的杂货铺

CAD三维图纸如何测量?详细教程来了

在路上

cad cad看图 CAD看图王

比特币交易接近 104000 美元,分析师称「再创新高并非不可能」

PowerVerse

比特币 加密货币 分析

AI赋能时尚零售供应链智能决策:四大核心价值重构竞争力

第七在线

macOS Sequoia 15.5 (24F74) Boot ISO 原版可引导镜像下载

sysin

macos

YashanDB|服务器重启后数据库无法启动?别忘了这个关键服务

数据库砖家

数据库

CAD图纸如何进行坐标标注?

在路上

cad cad看图

新疆五家等保测评机构名称以及地址汇总

行云管家

网络安全 等保 等保测评 等保测评机构

智谱发布自主Agent全家桶,目标:让打工人实现“光说不干”!_生成式 AI_华卫_InfoQ精选文章