写点什么

谷歌版贾维斯意外泄露!自主上网购物填表不在话下,“钢铁侠 ”成真指日可待?

  • 2024-11-11
    北京
  • 本文字数:2467 字

    阅读完需:约 8 分钟

大小:1.10M时长:06:26
谷歌版贾维斯意外泄露!自主上网购物填表不在话下,“钢铁侠 ”成真指日可待?

整理 | 华卫、核子可乐


一场意外泄露事件后,谷歌这位科技巨头无意之中证实了其先进人工智能“Jarvis”的存在。据了解,Jarvis 能够访问网站、在获得用户许可的情况下进行在线购物,甚至填写表格。基于 Chrome 平台的 AI,也将是这款浏览器自 2008 年推出以来规模最大的功能升级。


不久前,谷歌意外泄露了最新 AI 发展成果 Jarvis 的“内部预览版”。Jarvis 原本是《钢铁侠》电影中 Tony Stark 的人工智能助手的首字母缩写词,全称为 “Just Another Very Intelligent System”。就像《钢铁侠》电影一样,Jarvis 应该是一个代理型人工智能,即只需要很少或不需要人类输入就能执行任务的自主系统。


被泄露的文件最初被发布在谷歌自己的云平台之上,在存留期间,其内容显示谷歌打造了一款能够浏览互联网并自主检索信息的 AI 智能体。


Jarvis 或将接管 Chrome 浏览器


据外媒报道,该 AI 智能体于本周二在 Chrome 浏览器网络商店中作为扩展程序短暂提供下载,并被描述为 “与你一起上网的好伙伴”。


可惜的是,该扩展程序虽然可以下载,但需要某些用户无法绕过的访问权限。有人在该扩展程序被删除之前抢先完成了安装,但尚无法正常使用。当天晚些时候,该扩展程序已从网络商店删除。


Jarvis 无意中出现在 Chrome 浏览器网店上,证实了之前有关谷歌正在开发这一产品的报道。


10 月底,有外媒报道称,谷歌也正在开发一种可以通过简单命令来接管计算机的 AI 工具,该工具在内部被称为 Project Jarvis,能够代表用户浏览网页,并执行购买产品和预订航班等任务。


与依赖预加载数据的现有 AI 工具不同,Jarvis 能够搜索网络并为用户提供检索实时数据的能力,从而绕过传统搜索引擎。简而言之,它基本上接管了 Chrome 网络浏览器来为用户执行任务。


报道指出,该工具的工作原理是截取计算机屏幕的屏幕截图,并“在执行单击按钮或输入文本字段等操作之前对截图进行解读”,这与微软此前备受争议的 Recall 功能非常相似,尽管后者用于存储和检索用户的计算机行为(目前微软宣称该项目将“稍后”亮相,且最初只开放给 Windows Insider 计划成员)。


Jarvis 的功能似乎是谷歌 Bard AI 的延伸,可以将自然语言理解与高级数据检索功能相结合。这种向实时数据响应的转变也代表着传统聊天机器人的最新发展方向。传统聊天机器人往往受到训练数据的限制,因此只能根据特定日期之前的信息回答问题。


报道还提到出,该工具目前的反应速度有些慢,“因为模型在采取每个动作之前需要思考几秒钟”。这表明,Jarvis 可能还没有准备好进入黄金时段。当时的消息称,谷歌计划在 12 月公开推出 Jarvis,同时推出的还有最新版本的 Gemini 大型语言模型。


现在,有熟悉谷歌内情的消息人士表示,Jarvis 本打算在对外发布之前进行内部试点测试。然而,此番意外泄露让不少人猜测谷歌恐怕会提前正式发布的时间。


AI 智能体操控屏幕的未来将至


上个月,当 Anthropic 推出名为“计算机使用 ”的新功能,基本上可以接管用户的计算机来读取和编写 JavaScript 代码时,我们的认知从 “《钢铁侠》只是一部电影 ”变成了 “这正在发生”。现在,谷歌的 Jarvis AI 智能体似乎要让 “钢铁侠 ”幻想成真了。


只不过,Claude 是为程序员量身定制的,用于操作软件应用程序,而 Jarvis 与之不同,据说它是基于浏览器的,可以想象它将面向更主流的受众市场。


据外媒报道,OpenAI 也在开发这类自主 AI 智能体。此次谷歌 Jarvis AI 意外泄露事件就发生在 OpenAI o1 模型泄露的几天之后,后者同样意外曝光了一款能够分析图像、访问网络搜索结果及数据分析等工具的新推理模型,可能很快就会发展出更多的自主网页浏览功能。


几天前的 OpenAI 伦敦开发者大会上,Sam Altman 在与 20VC 创始人 Harry Stebbings 的对谈中,就对 AI 智能体进行了这样的定义:能够接受长期任务,且在执行过程中几乎不需要监督。他举例说,“假设不是让 AI 智能体给一家餐厅打电话订餐,而是让它同时联系 300 家餐厅,找出哪家最适合或者有优惠。我认为更有意思的是那种像一位聪明的资深同事一样,能与你在项目中真正协作的智能体。”


在最近的一次 Reddit AMA 中,OpenAI 首席产品官 Kevin Weil 也暗示道,ChatGPT 将首先具备向用户发送消息的能力,而为用户执行任务将是他们 “2025 年的一大主题”。


微软团队上月低调开源的 OmniParser,在 Hugging Face 上迅速大受欢迎的同时,似乎也预示着 AI 智能体操控屏幕的未来。OmniParser 是一款解析和识别屏幕布局的 AI 工具,能够提取文本、按钮和图标等重要信息,还可以将这些元素转换成结构化的数据,精准理解用户意图,可以帮助开发者自主创建用于操控电脑或手机界面的智能体。


并且,OmniParser 并不局限于网络浏览器或移动应用程序等特定的环境,它的目标是成为任何支持视觉的 LLM 与从桌面到嵌入式屏幕等各种数字界面进行交互的工具。据悉,GPT-4V 在使用 OmniParser 输出后,图标的正确标记率从 70.5% 提升至 93.8%。


此外,Apple Intelligence 也承诺通过其“屏幕感知”功能实现同样的功能。它会观察用户的活动并将发现输入到系统当中,以便下次以智能方式代替用户执行这些任务。


结   语


对谷歌来说,提高工作效率和自动化某些琐碎的任务是其许多 AI 产品寻找杀手级用例的方向。谷歌也在 Workspace 应用程序中引入了生成式 AI 功能,包括谷歌 Docs(文档)、Gmail、Sheets(表格)和 Slides(幻灯片)。


而关于此次意外泄露的“内部预览版”Jarvis,近期已有不少类似可以通过简单命令来接管计算机的 AI 智能体出现在大众视线里。需要注意的是,随着这类 AI 驱动浏览变得愈发普遍,围绕数据透明度、访问私人内容和网络数据的道德使用引发的问题也可能进一步激化。


参考链接:


https://www.theinformation.com/briefings/google-accidentally-reveals-jarvis-ai-that-takes-over-computers


https://mashable.com/article/google-accidentally-leaked-new-ai-tool-browses-internet-for-you


https://www.tomsguide.com/ai/google-confirms-jarvis-ai-after-accidental-leak-heres-what-we-know


https://www.androidpolice.com/google-gemini-project-jarvis-ai-agent/


2024-11-11 14:354707

评论

发布
暂无评论
发现更多内容

最佳独立Prime视频播放器:Clicker for Prime Video Mac版

Rose

通义灵码实战系列:一个新项目如何快速启动,如何维护遗留系统代码库?

阿里巴巴云原生

阿里云 云原生 通义灵码

AI绘图新选择:Fooocus工具发布,小显存助力大模型运行

百度开发者中心

人工智能 Ai绘图

GLM国产大模型训练加速:高效性能与成本优化的实践

百度开发者中心

人工智能 深度学习 大模型

Photoshop 2023多语言版 ps2023安装包 mac/win

Rose

三大IAM权限管理模型怎么选?

芯盾时代

iam 统一身份认证 权限管理系统

通义灵码实战系列:一个新项目如何快速启动,如何维护遗留系统代码库?

阿里云云效

阿里云 云原生 通义灵码

企业需要购买云服务器吗?一篇文章告诉你答案

一只扑棱蛾子

服务器

适用于 macOS 的最佳独立 HBO Max 客户端

Rose

营销权益平台春晚技术探究| 京东云技术团队

京东科技开发者

SQL事前巡检插件

京东零售技术

sql 企业号 5 月 PK 榜 #SQL

老牌Git客户端 mac软件 SmartGit 汉化教程 及安装教程

Rose

财务世界中数据叙事对于企业决策的影响力

智达方通

企业管理 全面预算 财务管理 数据叙事

独立创作者之路上的一点思考

zhumingwu

Lightroom Classic 2020(Lrc2020) v10.4中文直装版

Rose

CCE云原生混部场景下的测试案例

不在线第一只蜗牛

云原生

LaTeX 编辑器和编译器:Texifier(原Texpad)

Rose

面试官:核心线程数为0时,线程池如何执行?

王磊

Java 面试

企业怎样进行IT外包以及IT外包服务内容

Ogcloud

IT IT外包 IT外包公司 IT外包服务 IT外包服务商

生成式AI的「七宗罪」!

白洞计划

AI

Vectorworks 2024详细图文安装教程 3D建筑建模 Mac/win

Rose

Redis Cluster on K8s 大揭密

小猿姐

数据库 redis k8s

怎样选择IT外包公司?需要注意什么?

Ogcloud

IT IT外包 IT外包公司 IT外包服务 IT外包服务商

Set A Light 3D Studio,快速模拟摄影布光效果以及更多的细节

Rose

企业IT架构治理之道| 京东云技术团队

京东科技开发者

一键自动化博客发布工具,用过的人都说好(oschina篇)

程序那些事

自动化 工具 程序那些事 博客工具

WonderPen妙笔:功能强大的文字编辑器和Markdown写作应用

Rose

谷歌版贾维斯意外泄露!自主上网购物填表不在话下,“钢铁侠 ”成真指日可待?_AI&大模型_华卫_InfoQ精选文章