10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

Cohere 发布多语言 Command A 模型:仅需两张 GPU 即可服务全球企业

  • 2025-03-18
    北京
  • 本文字数:2152 字

    阅读完需:约 7 分钟

大小:1.10M时长:06:22
Cohere发布多语言Command A模型:仅需两张GPU即可服务全球企业

整理 | 华卫、核子可乐

 

日前,加拿大 AI 初创公司 Cohere 发布了其最新生成式 AI 模型 Command A,据称专为企业应用场景设计而成。据了解,Cohere 由 2017 年开启大语言模型革命的 transformer 论文作者之一 Aidan Gomez 与他的两位多伦多大学校友 Ivan Zhang 和 Nick Frosst 联合创立。除此之外,该公司旗下非营利子公司 Cohere for AI 还于本月初发布了名为 Aya Vision 的开源多语言视觉模型(仅供研究)。

 

据介绍,作为 2024 年 3 月首次亮相的 Command-R 及后续 Command R+大模型的继任者,Command A 以 Cohere 在检索增强生成(RAG)、外部工具以及企业 AI 效率领域的研发成果为基础,主要强调以更快速度完成计算并交付答案。

 

比 Command-R 更进一步

 

当初 Command-R 于 2024 年首次亮相时,就曾引入一系列关键创新,如优级 RAG 性能、更好的知识检索效果与更低的 AI 部署成本。该模型很快获得企业青睐,并被整合至甲骨文、Nation、Scale AI、埃森哲及麦肯锡等公司的商业解决方案当中。不过 Menlo Ventures 在 2024 年 11 月发布的企业采用调查报告中指出,Cohere 在企业领域的市场份额仅为 3%,远低于 OpenAI 的 34%、Anthropic 的 24%乃至 Mistral 等小型初创厂商的 5%。

 

如今,为了吸引更多企业的加入,Command A 进一步拓展了这些功能。根据官方介绍,新版本:

  • 在商业、STEM 及编码任务中等同或超越了 OpenAI 的 GPT-4o 与 DeepSeek-V3。

  • 可仅依托两张 GPU(A100 或 H100)运行,相较于其他需要多达 32 张 GPU 模型在效率上实现了显著提升。

  • 可实现更快的 token 生成速度,每秒可生成 156 个 token——相当于 GPT-4o 的 1.75 倍,DeepSeek-V3 的 2.4 倍。

  • 降低延迟,首 token 生成时间为 6500 毫秒,优于 GPT-4o 的 7460 毫秒与 DeepSeek-V3 的 14740 毫秒。

  • 增强多语言 AI 能力,改进了对阿拉伯语方言的支持并扩展支持 23 种全球语言。

 

Cohere 通过 Command A 延续了其企业优先战略,确保此模型能够无缝集成至业务环境当中。Command A 的核心特性包括:

  • 高级检索增强生成(RAG):为企业应用程序提供可验证的高精度响应结果。

  • 使用代理式工具:与企业工具相集成以支持复杂的工作流程。

  • North AI 平台集成:与 Cohere 的 North AI 平台配合使用,允许企业使用安全的企业级 AI 智能体自动执行任务。

  • 可扩展性与成本效率:私有部署的成本比 API 访问低 50%。

  • 支持多种语言,在阿语支持方面表现出色。Command A 的一大突出特点,是它能够对全球 23 种最常用语言生成准确响应,包括经过改进的阿拉伯方言处理能力。

 

此外,速度是企业 AI 部署中的关键因素,Command A 的设计目标正是以超越竞争对手的速度交付生成结果。100K 上下文请求的 token 流速度为:每秒 73 个 token(相比之下,GPT-4o 为每秒 38 个 token,DeepSeek-V3 则为每秒 32 个 token)。首次 token 生成速度更快:与其他大模型相比,Command A 的响应速度明显更快。

 

基准测试结果中,Command A 在使用阿拉伯语响应英语提示词的准确率为 98.2%——高于 DeepSeek-V3 的 94.9%与 GPT-4o 的 92.2%。它在方言一致性方面的表现似乎也明显优于竞争对手,ADI2 得分为 24.7,远高于 GPT-4o 的 15.9 与 DeepSeek-V3 的 15.7。

 

凭借更快的速度、更低的硬件要求加上扩展后的多语言功能,Command A 将自身定位成 GPT-4o 及 DeepSeek-V3 等模型的有力替代选项——请注意,这里列出的均是经典的大语言模型,而非最近掀起行业热潮的新兴推理模型。与能够支持 12.8 万个 token 上下文长度(即大模型在一次输入/输出交换中可以处理的信息量,12.8 万 token 相当于一本 300 页的小说)的前身不同,Command A 将上下文长度增加了一倍,达到 25.6 万个 token(相当于 600 页文本),同时提高了整体效率与生产应用就绪水平。

 

行业反响

 

现在,Command A 已在 Cohere 平台上正式上线,并在 Hugging Face 上基于 Creative Commons Attribution Non Commercial 4.0 International (CC-by-NC 4.0)许可证提供开放权重,但仅供研究使用。后续还将面向广泛云服务商提供支持方案。输入 token:每百万个 2.5 美元;输出 token:每百万个 10.00 美元。可根据要求提供私有与本地部署。

 

多位 AI 研究人员及 Cohere 团队成员表达了自己对于 Command A 的赞赏之情。Cohere 公司预训练专家 Dwaraknath Ganesan 在 X 上发帖表示:“很高兴能够展示我们过去几个月间倾力研究的成果!Command A 非常出色,只需两张 H100 GPU 即可部署!256K 上下文长度、经过扩展的多语言支持、代理式工具使用……我们对此深感自豪。”

 

Cohere 公司 AI 研究员 Pierre Richemond 补充道,“Command A 是我们全新打造的 GPT-4o/DeepSeek V3 级别、开放权重 111B 模型,可支持 256K 上下文长度,且针对企业用例的运行效率进行了优化。”凭借更快的运行速度、更大的上下文窗口、更好的多语言处理能力以及更低的部署成本,它将针对企业需求为现有 AI 模型提供强大的替代选项。

 

Cohere 在其开发者文档中指出,“Command A 非常健谈。在默认情况下,该模型为交互式设计,并针对对话进行了优化。就是说它的输出内容很长,而且会使用 markdown 来高亮显示代码。要覆盖此机制,开发人员可在前置词中要求模型仅提供答案,且不使用 markdown 或代码块标记。”

 

由此看来,Command A 有望成为那些预算有限、但又亟需建立 AI 优势的企业,以及快速响应类应用场景(例如金融、医疗、医学、科学和法律)下的理想模型选项。

 

参考链接:

https://venturebeat.com/ai/cohere-targets-global-enterprises-with-new-highly-multilingual-command-a-model-requiring-only-2-gpus/

 

2025-03-18 11:214084

评论

发布
暂无评论

CTO 说了,用错 @Autowired 和

爱好编程进阶

Java 程序员 后端开发

刷了三个月leetcode算法,顺利拿下百度、阿里等大厂的offer

Java架构追梦

Java 后端开发 数据与算法

GroupingComparator分组

爱好编程进阶

Java 程序员 后端开发

2022年4月国产数据库大事记

墨天轮

数据库 opengauss TiDB 国产数据库 达梦

Stack 顿悟三部曲(2):穿越虚拟内存的迷雾

蓬蒿

线程 cpu 堆栈 进程

4月份,我月更了 25 篇文章,撸了 4w 多字

杨成功

程序员 数据结构 前端

Java StringBuffer 动态字符串

爱好编程进阶

程序员 后端开发

Java 类型信息详解和反射机制

爱好编程进阶

Java 程序员 后端开发

OneFlow如何做静态图的算子对齐任务

OneFlow

人工智能 graph 自动测试 算子对齐

EL和JSTL基本使用

爱好编程进阶

Java 程序员 后端开发

Stack 顿悟三部曲(3):溯源 goroutine 堆栈

蓬蒿

golang 堆栈 协程 stack goroutine

Java 生成随机数的 5 种方式,你知道几种?

爱好编程进阶

Java 程序员 后端开发

Alibaba最新出版的JDK源码剖析手册(究极奥义版)开源

Java架构追梦

jdk java面试 后端开发

java 通过 SmbFile 类操作共享文件夹

爱好编程进阶

程序员 后端开发

造孽啊!阿里内部的神级项目和JDK源码阅读指南竟惨遭GitHub开源

Java架构追梦

Java 程序员 后端开发

ETL自动化运维调度管理工具 TASKCTL 流程文件系统

敏捷调度TASKCTL

程序员 DevOps 运维 ETL 大数据运维

上市商业银行手机银行场景建设专题分析

易观分析

商业银行 手机银行

真可笑!拿着这份JVM学习笔记学了2个月,就想着出去跳槽涨10k

Java架构追梦

Java 程序员 后端开发

FastDFS 和nginx整合

爱好编程进阶

Java 程序员 后端开发

Go流程控制——条件语句

爱好编程进阶

Java 程序员 后端开发

IDEA的Docker插件实战(Dockerfile篇)

爱好编程进阶

Java 程序员 后端开发

【INFOCOM 2022】支持任意网络拓扑的同步流水线并行训练算法,有效减少大规模神经网络的训练时间

阿里云大数据AI技术

神经网络 机器学习 算法 并行训练算法

中小型企业团队的CRM系统最佳实践

低代码小观

低代码 CRM 客户关系管理 CRM系统 客户关系管理系统

java poi 读取Excel中的手机号或电话号码,手机号变成1

爱好编程进阶

程序员 后端开发

2022金蝶云苍穹峰会抢先看

金蝶云·苍穹

苍穹峰会 苍穹5.0 人力云

惨遭面试官吊打高并发系统设计,回来学习2400小时后成功复仇

Java架构追梦

Java 后端开发 程序员面试

GNN在下拉推荐的应用

爱好编程进阶

Java 程序员 后端开发

Java面试前的敲门砖:多线程+微服务spring源码+Redis+docker+Git

Java架构追梦

Java 后端开发 程序员面试

CRUD勿进,全身心投入才能读懂腾讯P8亲码的“Java微服务

爱好编程进阶

Java 程序员 后端开发

Day200

爱好编程进阶

Java 程序员 后端开发

AliIAC 智能音频编解码器:在有限带宽条件下带来更高质量的音频通话体验

阿里云CloudImagine

语音 音频 视频云 音频编码器

Cohere发布多语言Command A模型:仅需两张GPU即可服务全球企业_AI&大模型_华卫_InfoQ精选文章