智能湖仓开发商 Databricks 正着手以 13 亿美元收购生成式 AI 初创公司 MosaicML，希望帮助自家客户在数据之上构建和部署 AI 模型。值得注意的是，Databricks 本身也是一家初创公司，成立于 2013 年，通过多轮融资筹得 36 亿美元。此次的收购成本当中，包含挽留 MosaicML 员工的相应支出。
大语言模型（LLM）正在 AI 领域掀起新一波浪潮，它能够理解查询、分析多个数据源并用自然语言给出回应和答案，甚至能够输出编程语言。当然，这些模型也可能产生错误或虚构的答案，而且需要大量 GPU 资源才能运行。MosaicML 的主要业务就是帮助客户在小规模系统上运行模型，并使用自己的数据和非公开数据对模型进行训练和微调。
Databricks 公司 CEO Ali Ghodsi 表示，“每个组织都应该从 AI 革命当中受益，并更好地控制数据的使用方式。”
今年 4 月，Databricks 公布了其更新之后的开源 Dolly 大语言模型，标志着公司的 AI 设施已可用于商业应用，且无需大量 GPU 资源或者昂贵的 API。这款聊天机器人能够响应客户查询，根据 Databricks 智能湖仓内的数据给出答案。
MosaicML 的来历
MosaicML 则创立于 2021 年，联合创始人分别为担任 CEO 的 Naveen Rao（前英特尔副总裁兼 AI 产品事业部总经理）和 CTO Hanling Tang（前英特尔 AI 实验室高级总监），员工仅 62 人，其中研究人员（researchers）约为 15 名，“与 Brain 或 Deep Mind 的庞大研究人员队伍相比，我们规模很小”。
MosaicML 公司目前只公开披露过一轮融资，为 6400 万美元，其开源大语言模型基于 MPT-7B 架构，即拥有 70 亿参数且上下文窗口为 6.4 万 token。
Naveen Rao 与 Hanlin Tang
MPT-7B 和最近发布的 MPT-30B 目前下载量已经超过 330 万次。MPT-30B 要比 MPT-7B 更加强大，且性能已经超越初版 GPT-3。MosaicML 表示，MPT-30B 的大小是精心选择的结果，能够轻松部署在单个 GPU 上——可以在 16 位精度对应 1 块 A100-80 GB，也可以在 8 位精度对应 1 块 A100-40 GB。MosaicML 公司指出，其他类似的大语言模型（例如 Falcon-40B）往往拥有更多参数，因此无法在单个数据中心 GPU 上提供服务。而一旦需要的 GPU 超过 2 个，就会增加推理系统的最低实现成本。
MosaicML 还特别提到 MPT-30B 在编程方面表现优异，“这归功于包括大量代码的预训练数据。我们希望这种文本和编程功能的结合使 MPT-30B 模型成为社区的流行选择。”
MosaicML 是一家美国公司，在旧金山、纽约、帕洛阿尔托和圣迭戈设有办事处。其客户则包括 AI2（艾伦 AI 研究所）、Generally Intelligence、Hippocratic AI、Replit 和 Scatter Labs。
Databricks 表示，MosaicML 的技术将为客户提供一种简单快速的方式，能够在保留对自身数据的控制、安全保护和所有权的前提下，享受到成本低廉的语言模型服务。
与标准方案相比，MosaicML 的优化成果将模型训练速度提升了 2 到 7 倍，而且能够线性扩展。该公司声称，其数十亿参数的模型在几小时内即可完成训练，远低于一般模型长达数天的训练周期。
Naveen Rao 解释道，“我们之所以创办 MosaicML，就是希望解决困难的工程和研究问题，帮助每个人更轻松地进行大规模训练。随着近期掀起的生成式 AI 浪潮，这项工作也成为关注的焦点。我们将与 Databricks 一道，推动天平向着更有利于大多数人的方向倾斜——我们是志同道合的伙伴，同样肩负让研究人员转型为企业家的使命。”
收购意欲何为?
根据 Naveen Rao 的说法，MosaicML 一直致力于降低生成式 AI 的使用成本，从数千万美元降至数十万美元。
生物制药服务公司Syneos Health的首席信息和数字官 Larry Pickett 表示，目前根据专业健康数据训练模型的成本估计为 100 万至 200 万美元。分析师表示，这类“特定领域”模型对公司来说可能比 ChatGPT 更有用，因为它们拥有更多的行业术语和专业知识。但 Pickett 预计，Syneos Health 通过使用较小的预训练模型，“而不是在 OpenAI 拥有的整个数据集之上构建”，花费会大大减少。他说，其中一些模型已经在开源库中可用，例如机器学习初创公司 Hugging Face 提供的库。
“并不是每个人、每个应用程序都需要 GPT-4，”Krishna 说，他指的是 OpenAI 的大型语言模型。他说，大型语言模型正在针对非常具体的应用进行微调，“到那时，它就会变得非常小，可以嵌入到任何手机中。”
但 Databricks 收购 MosaicML 的目的却仍然让很多人感到迷惑，Hacker News 上不少网友一致认为Databricks是在炒作，表示通过新闻稿看不明白 Databricks 要将 LLM 整合来做什么。
虽然现在 Databricks 称公司的主要技术方向为 Lakehouse，但实际上它是由 Apache Spark 创建者创立，因此有人认为其护城河和核心价值主张是云中的 Apache Spark，主要是用 Spark 来处理大规模集群上的数据，其中包括机器学习训练和推理管道，在这种情况下，Databricks 整合 LLM 的价值主张是不够明确的。甚至还有人认为，Databricks 不过是在借当前大模型热度进行炒作，MosaicML 迟早会被注销掉。
另外不得不提的是，Databricks 本身成立也仅十年，去年公布年收入刚超过 10 亿美元。Mosaic 上一轮融资的估值为 1.36 亿美元，无论是以股权还是现金收购，13 亿美元的交易价格对 Mosaic 来说都是一个巨大的飞跃。
该交易预计将在第二季度期间完成（截至 7 月 31 日）。
在交易完成后，整个 MosaicML 团队预计都将加入 Databricks。随时间推移，MosaicML 的平台将得到支持、扩展和集成。根据 Databricks 的说法，客户将获得一套统一平台，可以在该平台之上构建、拥有和保护自己的生成式 AI 模型，并使用自有数据做进一步模型训练。
拟议的这项收购案须满足成交惯例，包括遵循相关监管许可。目前可能还有其他生成式 AI 初创公司在与 Databricks 的竞争对手们洽谈收购方案。
参考链接：
https://www.mosaicml.com/blog/mpt-30b
https://twitter.com/mosaicml?lang=en
https://news.ycombinator.com/item?id=36478734
https://www.latent.space/p/mosaic-mpt-7b#details
相关阅读：
Databricks 来搅局了：0 门槛克隆 ChatGPT，完全开源可随意修改商用
公众号推荐：
跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号，回复「开发者洞察」领取。
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论