写点什么

22 人估值 20 亿美元,半年增长七倍,“欧洲 OpenAI”发布媲美 GPT3.5 的“开放权重”模型

  • 2023-12-12
    北京
  • 本文字数:2358 字

    阅读完需:约 8 分钟

大小:1.09M时长:06:20
22人估值20亿美元,半年增长七倍,“欧洲 OpenAI”发布媲美GPT3.5的“开放权重”模型

Mistral AI 是一家总部位于巴黎的初创公司,由 Meta 和谷歌的研究人员于七个月前创立。目前,该公司已成功筹集 3.85 亿欧元(约合 4.15 亿美元),再次凸显了人们对生成式 AI 的浓厚兴趣。

 

据两位知情人士透露,这笔交易将该公司的估值提升至约 20 亿美元,而该公司目前拥有 22 名员工。投资者阵容中有硅谷风险投资公司 Andreessen Horowitz 和 Lightspeed Venture Partners,还包括 Salesforce、法国巴黎银行等众多投资机构。

 

令人瞩目的是,这家初创公司的估值在短短的六个月内增长了七倍以上。仅在今年夏季,公司就成功完成了一轮 1.05 亿欧元(约合 1.13 亿美元)的种子资金融资,当时公司的估值约为 2.6 亿美元。

 

同时,Mistral AI 还推出了新型 Mixtral 8x7B LLM。这款模型被称为“权重开源(open weights)”模型,设定了新的性能标准,并在其商业平台开放了访问。

 

媲美 GPT3.5 的“开放权重”模型

 

Mistral AI 发布了其名为 Mixtral 8x7B 的新模型,与 Meta 的 Llama 2 和 OpenAI 的 GPT-3.5 模型相比性能更佳。测试结果显示,Mixtral 的性能与其他两个选项相当,甚至更为出色,并且成本和延迟更低。

 

Mistral AI 官方宣称,这是一种高质量稀疏专家混合模型 (SMoE),可以在 Apache 2.0 许可证下用于商业用途。并且,Mixtral 在大多数基准测试中都优于 Llama 2 70B,推理速度提高了 6 倍。

 


Mistral AI 公司特别强调,“它是最强大的开放权重模型,具有宽松的许可证,也是成本/性能权衡方面的最佳模型。特别是,它在大多数标准基准测试中匹配或优于 GPT3.5。”

 


截图源自:https://mistral.ai/news/mixtral-of-experts/

 

Mixtral 具有 32k token 上下文,可以处理英语、法语、意大利语、德语和西班牙语,代码生成表现出色。同时发布了 Instruct 版本的微调模型,MT-Bench 8.3 分。

 

Mistral 表示,Mixtral 共 46.7B 参数,但每 token 仅使用 12.9B,意味着等同于 12.9B 的推理速度和成本。

 

AI 领域的玩家已经开始下载、运行、尝试 Mixtral 8x7B,并对其性能和成本优势赞不绝口:

 



然而,值得注意的是,在官方给出的测试结果中有一个缺失,即 TruthfulQA,通常用于测试大模型中不重复常见在线错误信息的能力。尽管如此,Mistral 仍强调,与 OpenAI 和 Meta 的选项相比,其模型的运行成本要低得多,这是一个明显的优势。

 

开放平台

 

同一天,Mistral 还发布了其开放平台 La plateforme,并上架了三款模型。

 

Mistral-tiny:最具成本效益,目前提供 Mistral 7B Instruct v0.2,它是 Mistral 7B Instruct 的更新小版本。Mistral-tiny 仅适用于英语,在 MT-Bench 上获得 7.6 分。

 

Mistral-small:Mixtral 8x7B,能处理英语/法语/意大利语/德语/西班牙语和代码,并在 MT-Bench 上获得 8.3 分。

 

Mistral-medium:最高档原型模型,能处理英语/法语/意大利语/德语/西班牙语和代码,并在 MT-Bench 上获得 8.6 分。

 


该公司同时提供了 embed endpoint,一个具有 1024 嵌入维度的嵌入模型,设计有检索能力,MTEB 55.26 分。

 

开源并不意味着 Mistral AI 回避商业化。虽然 Mistral AI 有两个模型可以直接下载,但他们的最佳模型现在只能通过 API 访问:该公司计划从其基础模型中赚钱。这就是 Mistral AI 今天开放其开发者平台测试版的原因。有了这个平台,其他公司将能够通过 API 付费使用 Mistral AI 的模型。

 

“我们的 API 遵循我们最亲爱的竞争对手最初提出的流行聊天界面的规范。我们提供了 Python 和 Javascript 客户端库,以查询我们的终端节点。”

 

“每个 endpoint 都在性能和价格之间进行了不同的权衡。”

 

公司小,但令人瞩目

 

Mistral AI 也被称为“欧洲 OpenAI”,由来自 Meta Platforms 和 Alphabet 的几位前研究人员 Arthur Mensch(现任 CEO)、Guillaume Lample 和 Timothee Lacroix 共同创立,公司成立于 2023 年 5 月,专门开发大语言模型及各类 AI 技术。Mistral 这个名号来自北方寒冷的季风,也体现了他们想要在 AI 领域占据一席之地的愿望。

 

6 月,Mistral AI 在拿下 1.13 亿美元巨额种子融资后引发业界轰动,公司估值也瞬间来到 2.6 亿美元。彼时,该公司刚刚成立,员工仅 6 人,还未做出任何产品,仅仅凭借着 7 页 PPT 就斩获了巨额融资。

 

虽然 Mistral AI 目前人员数量也只有二十来人,却以较小的规模成功地获得了 20 亿美元的估值,并轻松地推出了性能最高的 7B 模型和 8x7B MOE 模型。“我认为这可能对 OpenAI 来说是一个比 Google 或 Anthropic 更大的潜在威胁。”Hacker News 网友评论。“考虑到最近的大额投资,我认为他们将能够 a)在不久的将来扩展到应对合理的流量负载,b)吸引最顶尖、最聪明的研究人员,并以各种惊人和戏剧性的方式引起这个行业的关注。”

 

Mistral 公司 CEO、前 DeepMind 研究科学家 Mensch 表示,这家企业的使命是“打造出能够解决现实世界问题的下一代 AI 系统”,并在创立之初就坚定了开源路线。他们于今年 9 月发布了自家首个大模型 Mistral 7B,该模型号称是“最强 7B 开源模型”。

 

英伟达 Senior Research Scientist Jim Fan 评论说,Mistral 成功要素之一就是成立时机无可挑剔:诞生在开源和闭源争议中,并由精干团队推动。

 

另外,每个月都会有几十款模型问世,但能引起大众向往的很少,而 7B 和 7B-MoE(相当于 12B 密集)却对基层 AI 工程师来说更为友好,更容易构建。而且作为欧洲“本土化”的语言模型,Mistral AI 也做到了差异化发展。可以说,该公司强大的初始团队和雄心勃勃的发展目标,已经使其成为当前乃至未来几年中最值得关注的 AI 初创力量之一。

 

参考链接:

https://mistral.ai/news/mixtral-of-experts/

https://mistral.ai/news/la-plateforme/

https://twitter.com/DrJimFan/status/1734269362100437315

https://www.nytimes.com/2023/12/10/technology/mistral-ai-funding.html

https://www.infoq.cn/article/V0ykFE4HYFlbNA0vbcE5

2023-12-12 14:003722

评论

发布
暂无评论
发现更多内容

电子科技大学入驻飞桨AI Studio高校专区,AI优质课程等你来学!

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

ChatGPT下程序员应该何去何从?

小魏写代码

ChatGPT 新手用ChatGPT

UPS设备在物流机房中的应用浅析 | 京东物流技术团队

京东科技开发者

机房管理 企业号 7 月 PK 榜 UPS

Java 命令行参数解析方式探索(四):Spark & Flink

冰心的小屋

Java spark 命令行 command Parameter

瀚元科技:利用A-OPS 智能运维助力边缘服务器运维效率提升30%

openEuler

Linux 运维 操作系统 openEuler 边缘

AI算力爆发,新职业出现,你发现了吗?

小魏写代码

人工智能 AI算力

信创产业未来发展如何

小魏写代码

信创 信创产业

如何基于 Apache Doris 构建新一代日志分析平台

SelectDB

数据库 大数据 数据分析 Doris

防范地质灾害,北斗用芯监测

江湖老铁

【实践篇】推荐算法PaaS化探索与实践 | 京东云技术团队

京东科技开发者

PaaS 推荐算法 PaaS平台化能力 企业号 7 月 PK 榜

并发编程-CompletableFuture解析 | 京东物流技术团队

京东科技开发者

并发编程 CompletableFuture JDK1.8 企业号 7 月 PK 榜

河北幸福消费金融基于 Apache Doris 构建实时数仓,查询提速 400 倍!

SelectDB

数据库 大数据 数据分析 后端 Doris

PoseiSwap 即将开启质押,利好刺激下 POSE通证短时涨超 30%

西柚子

HDC.Together2023 HarmonyOS学生公开课议程抢先看!

HarmonyOS开发者

HarmonyOS

区块链服务网络的顶层设计与应用实践

BSN研习社

软件测试/测试开发丨Python 内置库 sys 学习笔记分享

测试人

Python 程序员 软件测试

如何开发一对一视频源码

山东布谷网络科技

App 源代码

浅析 TiSpark v3.x 新变化

TiDB 社区干货传送门

版本测评 新版本/特性解读 7.x 实践

【落下帷幕】2023 中国大学生计算机设计大赛大数据应用大类国赛评审

ModelWhale

云计算 数据分析 在线编程 数据科学竞赛 中国大学生计算机设计大赛

【7.21-7.28】写作社区优秀技术博文一览

InfoQ写作社区官方

热门活动 优质创作周报

聊聊测试当下的求职困境

老张

软件测试 求职面试

Apache Doris 1.2.6 版本正式发布|版本通告

SelectDB

数据库 大数据 后端 Doris

【好文推荐】敏捷绩效考核如何做?

ShineScrum

暑期参加百度网盘AI大赛,夺万元现金、获大厂内推!

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

[硬核技术] 时序数据预测算法研究:Prophet

乘云数字DataBuff

数据库优化器设计穿越探索之旅

阿里技术

数据库 架构

DWS轻量化更新黑科技:宽表加工优化

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 7 月 PK 榜

和鲸 ModelWhale 与海光适配认证,“国产 CPU +开发平台” 双轮驱动信创生态建设及 AI 产业应用

ModelWhale

cpu 数字化转型 信创 数据科学 信创产业

22人估值20亿美元,半年增长七倍,“欧洲 OpenAI”发布媲美GPT3.5的“开放权重”模型_生成式 AI_Tina_InfoQ精选文章