硬核干货——《中小企业 AI 实战指南》免费下载! 了解详情
写点什么

22 人估值 20 亿美元,半年增长七倍,“欧洲 OpenAI”发布媲美 GPT3.5 的“开放权重”模型

  • 2023-12-12
    北京
  • 本文字数:2358 字

    阅读完需:约 8 分钟

大小:1.09M时长:06:20
22人估值20亿美元,半年增长七倍,“欧洲 OpenAI”发布媲美GPT3.5的“开放权重”模型

Mistral AI 是一家总部位于巴黎的初创公司,由 Meta 和谷歌的研究人员于七个月前创立。目前,该公司已成功筹集 3.85 亿欧元(约合 4.15 亿美元),再次凸显了人们对生成式 AI 的浓厚兴趣。

 

据两位知情人士透露,这笔交易将该公司的估值提升至约 20 亿美元,而该公司目前拥有 22 名员工。投资者阵容中有硅谷风险投资公司 Andreessen Horowitz 和 Lightspeed Venture Partners,还包括 Salesforce、法国巴黎银行等众多投资机构。

 

令人瞩目的是,这家初创公司的估值在短短的六个月内增长了七倍以上。仅在今年夏季,公司就成功完成了一轮 1.05 亿欧元(约合 1.13 亿美元)的种子资金融资,当时公司的估值约为 2.6 亿美元。

 

同时,Mistral AI 还推出了新型 Mixtral 8x7B LLM。这款模型被称为“权重开源(open weights)”模型,设定了新的性能标准,并在其商业平台开放了访问。

 

媲美 GPT3.5 的“开放权重”模型

 

Mistral AI 发布了其名为 Mixtral 8x7B 的新模型,与 Meta 的 Llama 2 和 OpenAI 的 GPT-3.5 模型相比性能更佳。测试结果显示,Mixtral 的性能与其他两个选项相当,甚至更为出色,并且成本和延迟更低。

 

Mistral AI 官方宣称,这是一种高质量稀疏专家混合模型 (SMoE),可以在 Apache 2.0 许可证下用于商业用途。并且,Mixtral 在大多数基准测试中都优于 Llama 2 70B,推理速度提高了 6 倍。

 


Mistral AI 公司特别强调,“它是最强大的开放权重模型,具有宽松的许可证,也是成本/性能权衡方面的最佳模型。特别是,它在大多数标准基准测试中匹配或优于 GPT3.5。”

 


截图源自:https://mistral.ai/news/mixtral-of-experts/

 

Mixtral 具有 32k token 上下文,可以处理英语、法语、意大利语、德语和西班牙语,代码生成表现出色。同时发布了 Instruct 版本的微调模型,MT-Bench 8.3 分。

 

Mistral 表示,Mixtral 共 46.7B 参数,但每 token 仅使用 12.9B,意味着等同于 12.9B 的推理速度和成本。

 

AI 领域的玩家已经开始下载、运行、尝试 Mixtral 8x7B,并对其性能和成本优势赞不绝口:

 



然而,值得注意的是,在官方给出的测试结果中有一个缺失,即 TruthfulQA,通常用于测试大模型中不重复常见在线错误信息的能力。尽管如此,Mistral 仍强调,与 OpenAI 和 Meta 的选项相比,其模型的运行成本要低得多,这是一个明显的优势。

 

开放平台

 

同一天,Mistral 还发布了其开放平台 La plateforme,并上架了三款模型。

 

Mistral-tiny:最具成本效益,目前提供 Mistral 7B Instruct v0.2,它是 Mistral 7B Instruct 的更新小版本。Mistral-tiny 仅适用于英语,在 MT-Bench 上获得 7.6 分。

 

Mistral-small:Mixtral 8x7B,能处理英语/法语/意大利语/德语/西班牙语和代码,并在 MT-Bench 上获得 8.3 分。

 

Mistral-medium:最高档原型模型,能处理英语/法语/意大利语/德语/西班牙语和代码,并在 MT-Bench 上获得 8.6 分。

 


该公司同时提供了 embed endpoint,一个具有 1024 嵌入维度的嵌入模型,设计有检索能力,MTEB 55.26 分。

 

开源并不意味着 Mistral AI 回避商业化。虽然 Mistral AI 有两个模型可以直接下载,但他们的最佳模型现在只能通过 API 访问:该公司计划从其基础模型中赚钱。这就是 Mistral AI 今天开放其开发者平台测试版的原因。有了这个平台,其他公司将能够通过 API 付费使用 Mistral AI 的模型。

 

“我们的 API 遵循我们最亲爱的竞争对手最初提出的流行聊天界面的规范。我们提供了 Python 和 Javascript 客户端库,以查询我们的终端节点。”

 

“每个 endpoint 都在性能和价格之间进行了不同的权衡。”

 

公司小,但令人瞩目

 

Mistral AI 也被称为“欧洲 OpenAI”,由来自 Meta Platforms 和 Alphabet 的几位前研究人员 Arthur Mensch(现任 CEO)、Guillaume Lample 和 Timothee Lacroix 共同创立,公司成立于 2023 年 5 月,专门开发大语言模型及各类 AI 技术。Mistral 这个名号来自北方寒冷的季风,也体现了他们想要在 AI 领域占据一席之地的愿望。

 

6 月,Mistral AI 在拿下 1.13 亿美元巨额种子融资后引发业界轰动,公司估值也瞬间来到 2.6 亿美元。彼时,该公司刚刚成立,员工仅 6 人,还未做出任何产品,仅仅凭借着 7 页 PPT 就斩获了巨额融资。

 

虽然 Mistral AI 目前人员数量也只有二十来人,却以较小的规模成功地获得了 20 亿美元的估值,并轻松地推出了性能最高的 7B 模型和 8x7B MOE 模型。“我认为这可能对 OpenAI 来说是一个比 Google 或 Anthropic 更大的潜在威胁。”Hacker News 网友评论。“考虑到最近的大额投资,我认为他们将能够 a)在不久的将来扩展到应对合理的流量负载,b)吸引最顶尖、最聪明的研究人员,并以各种惊人和戏剧性的方式引起这个行业的关注。”

 

Mistral 公司 CEO、前 DeepMind 研究科学家 Mensch 表示,这家企业的使命是“打造出能够解决现实世界问题的下一代 AI 系统”,并在创立之初就坚定了开源路线。他们于今年 9 月发布了自家首个大模型 Mistral 7B,该模型号称是“最强 7B 开源模型”。

 

英伟达 Senior Research Scientist Jim Fan 评论说,Mistral 成功要素之一就是成立时机无可挑剔:诞生在开源和闭源争议中,并由精干团队推动。

 

另外,每个月都会有几十款模型问世,但能引起大众向往的很少,而 7B 和 7B-MoE(相当于 12B 密集)却对基层 AI 工程师来说更为友好,更容易构建。而且作为欧洲“本土化”的语言模型,Mistral AI 也做到了差异化发展。可以说,该公司强大的初始团队和雄心勃勃的发展目标,已经使其成为当前乃至未来几年中最值得关注的 AI 初创力量之一。

 

参考链接:

https://mistral.ai/news/mixtral-of-experts/

https://mistral.ai/news/la-plateforme/

https://twitter.com/DrJimFan/status/1734269362100437315

https://www.nytimes.com/2023/12/10/technology/mistral-ai-funding.html

https://www.infoq.cn/article/V0ykFE4HYFlbNA0vbcE5

2023-12-12 14:003766

评论

发布
暂无评论
发现更多内容

依赖倒置原则

John

极客大学架构师训练营

重学 Java 设计模式:实战策略模式「模拟多种营销类型优惠券,折扣金额计算策略场景」

小傅哥

Java 设计模式 小傅哥 重构 代码优化

Git 的远端操作及解析(含思维导图)

多选参数

git GitHub gitlab

一致性哈希 -- java 实现

lei Shi

它们为什么这么快:从多进程到多线程再到I/O复用

Ya

多线程 进程 并发

区块链系列教程之:比特币的问题

程序那些事

比特币 区块链 智能合约 以太坊

Java线程池最细的解释,看完后彻底征服面试官

小新

Java 架构 面试 线程 线程池

工业4.0|振动分析能做到预防性维护吗?

清水河路人甲

三十张图助你看清红黑树的前世今生

淡蓝色

Java 程序员 数据结构 算法

现在面试这么难,背下题就能过的时代一去不复返了

小谈

Java 面试 JVM springboot SpringCloud

【Python】 any() 和 or 区别你真的知道吗?

Leetao

Python 数据结构 Python基础知识

道路千万条,安全只三条

石君

安全评估 安全设计

架构训练营第五周 - 作业

无心水

极客大学架构师训练营

Raft探索历程--Part2

老胡爱分享

分布式系统 raft

Java程序员的必修课之Spring理解透彻了吗?不会还咋去面试?

犬来八荒

Java spring 面试 后端 框架

如果张东升是个程序员

程序员生活志

程序员 张东升

Hexo blog 创建指导手册

想飞的鱼

GitHub Hexo GitHub Pages Blog

架构训练营第五周 - 总结

无心水

极客大学架构师训练营

GeekPwn 2020少年黑客马拉松大赛即将开启 谁将CARRY全场?

Geek_116789

小白也有大厂梦,如何从零开始掌握高薪Java工程师必备技能?

无予且行

Java 架构 面试 后端 大厂

有了多线程,为什么还要有协程?

八两

线程 进程 协程 GMP 进程线程区别

从Servlet到Spring Boot

废材姑娘

Java Spring Boot

JVM中的双亲委派机制你还没懂吗?

阿文

Java JVMTI JVM 深入理解JVM JVM原理

公司一直用Mybatis的原因原来在这!不得不竖起我的大拇指

小闫

Java mybatis mybatis-config.xml mybatis缓存

架构师训练营学习总结

John

极客大学架构师训练营

[1.3万字] 玩转前端二进制

阿宝哥

Java 大前端 base64 Blob

针对GPU单指令多数据流的编译优化算法

GPU

gpu 编译器 程序语言 if-conversion

面试官:为什么需要happens-before规则和什么是指令重排序

无予且行

Java 编程 程序员 面试 happens-before

刚去面试现场聊了一个多小时的Redis ,悄悄分享给大家!

Java小咖秀

nosql redis 面试

视读——沟通的艺术,看入人里,看出人外(开篇)

废材姑娘

读书笔记 视觉笔记

碎片化学习行不行

封不羁

22人估值20亿美元,半年增长七倍,“欧洲 OpenAI”发布媲美GPT3.5的“开放权重”模型_生成式 AI_Tina_InfoQ精选文章