写点什么

端侧模型 OctopusV3 发布:手机上的超级助理,性能媲美 GPT-4V 和 GPT-4 的组合?

  • 2024-04-24
  • 本文字数:1362 字

    阅读完需:约 4 分钟

大小:663.34K时长:03:46
端侧模型 OctopusV3 发布:手机上的超级助理,性能媲美 GPT-4V 和 GPT-4 的组合?

根据一张图片,能完成什么任务?


想吃菠萝了?迅速跳转 Instacart 商城界面,各种菠萝任君挑选。



想给家里添置一台吸尘器?没问题,立马来到 Amazon。



想了解路过大桥的历史?好的,Google 搜索给你想要的答案。



想发个邮件?OK,识别图片大意,填写收件人、标题、正文,发送!



想重新装修下客厅?Done!



上述功能都来自 Nexa AI 团队近日推出的 OctopusV3。据介绍,OctopusV3 流利掌握英语和中文,能够熟练破译文本和图像任务目标,并实现功能调用,制定复杂的动作序列、生成可执行代码,安卓和 IOS 系统都可用。


值得注意的是,OctopusV3 参数量不到 10 亿,但拥有可媲美 GPT-4V 和 GPT-4 组合起来的性能。由此,Nexa AI 称其为“一个体积最小、性能最强大的多模态 On-Device AI 模型”。


据悉,Nexa AI 成立于 2023 年,是一家致力于研究端侧 AI 代理的初创公司。它的创始人兼 CEO Wei Chen、联合创始人兼 CTO Zhiyuan Li 分别是斯坦福大学的博士和硕士,斯坦福大学副教授 Charles (Chuck) Eesley 担任该公司顾问。


OctopusV3 是如何做到的?


根据论文,OctopusV3 开发中最关键的两点是整合图像、文本输入以及优化模型预测行动的能力。为此, Nexa AI 主要采用了视觉信息编码、功能标记、多阶段训练技术。


在图像处理中,有许多方法可以对视觉信息进行编码,其中常用的是来自隐藏层的嵌入、图像标记化等。团队研究评估各种图像编码技术后,决定采用 CLIP 模型的方法。


与应用于自然语言和图像的标记化一样,特定的功能也可以封装到 token 中。Nexa AI 为这些标记引入了一种训练策略,用于管理未见术语。这种方法类似于 word2vec 方案,即通过上下文环境来丰富标记的含义。


例如,高级语言模型最初可能很难处理 PEGylation 和 Endosomal Escape 等复杂的化学术语。然而,这些模型能够通过因果语言建模获得这些术语,尤其是在包含这些术语的数据集上进行训练时。同样,模型也可以使用并行策略来获取功能性标记。Nexa AI 的研究表明,定义功能标记的潜力是无限的,因此可以标记任何特定功能。


OctopusV3 采用了一种将因果语言模型与图像编码器整合在一起的模型架构,这种迭代训练方法增强了模型有效处理和整合多模态信息的能力。


该模型的训练过程分为多个阶段。首先,团队分别对因果语言模型和图像编码器进行训练,以建立基础基准模型;随后合并这些组件,并对模型进行对齐训练,以同步图像和文本处理能力;之后,训练采用在上一个版本 OctopusV2 框架中应用的方法,促进新版本功能标记的学习。在训练的最后阶段,这些能够与环境互动的功能标记提供反馈,用于进一步完善和优化模型。


除了上文提到的简单应用,Octopus V3 还可以针对特定领域,量身定制出高度专业化的 AI 代理。如此,在医疗保健、金融和客户服务等行业中,用人工智能驱动的解决方案显著提高效率和用户体验。


未来,Nexa AI 还会逐步开发出可容纳音频、视频等其他数据模式的训练框架。此外,他们发现视觉输入可能会带来相当大的延迟,因此正在优化推理速度。


Nexa AI 还提到:“希望这个模型可以对自动驾驶和机器人领域产生帮助,也能够在终端设备上开启无限可能。期待有更多的开发者参与使用这个框架,能看到大家的创意和应用。”


参考链接:


https://arxiv.org/pdf/2404.11459.pdf


https://www.nexa4ai.com/

2024-04-24 15:007081

评论

发布
暂无评论
发现更多内容

☕【JVM技术探索】各种类型对象占用内存情况分析(上)

码界西柚

JVM java对象分析 6月日更 内存分配

Redis入门二:数据类型

打工人!

redis 6月日更

因女性而繁荣,适老化科技的钱景与挑战

脑极体

网络攻防学习笔记 Day50

穿过生命散发芬芳

网络攻防 6月日更

模块六-创业公司电商微服务

华仔架构训练营

优秀中层管理者所具备的特征

石云升

读书笔记 6月日更

模块六 作业

夏日

架构实战营

架构训练营模块六作业

Geek_e0c25c

架构训练营

架构实战营模块6课后作业

大肚皮狒狒

自然语言处理的发展

Qien Z.

自然语言处理 6月日更

[译] R8 优化:值假设

Antway

6月日更

HBase 介绍

Alex🐒

HBase

Flink Side Outputs

Alex🐒

flink flink1.13

【21-13】PowerShell 运算符

耳东@Erdong

PowerShell 6月日更

你多久没有换手机了?

看山

闲聊 6月日更

聊聊 Redis 过期键删除策略

蘑菇睡不着

Java redis

Cookie常见面试题

悟空聊架构

缓存 面试 Cookie 6月日更

电商微服务架构设计

俞嘉彬

架构实战营

(鸡汤文)这一次我终于搞懂了 JavaScript 定时器的 this 指向!

编程三昧

JavaScript 编程 大前端 定时器

Redis 五种数据结构以及三种高级数据结构解析

蘑菇睡不着

Java redis

推荐算法工程师需要的知识储备(十三)

Databri_AI

算法 推荐系统 成长路线

Kubernetes手记(17)- 调度策略

雪雷

6月日更

Flink State 和 Fault Tolerance(三)

Alex🐒

flink 翻译 flink1.13

超详细Redis数据结构底层实现原理介绍

蘑菇睡不着

Java redis

我国区块链产业发展面临的问题

CECBC

大型分布式 Web 系统的架构演进

xcbeyond

分布式 架构演进 6月日更

拆分电商系统为微服务——架构师训练营作业六

开拓纪

架构是训练营 作业六

聊聊 Redis 内存淘汰策略

蘑菇睡不着

Java redis

架构训练营模块6作业

Neil43

架构训练营

电商平台微服务拆分(简化版)

白发青年

架构实战营

Nginx简单属性和使用总结

赵镇

端侧模型 OctopusV3 发布:手机上的超级助理,性能媲美 GPT-4V 和 GPT-4 的组合?_AI&大模型_傅宇琪_InfoQ精选文章