【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

从博士论文到被各大厂应用,Alluxio 如何走过 7 年创业路

  • 2022-11-28
    北京
  • 本文字数:2591 字

    阅读完需:约 9 分钟

从博士论文到被各大厂应用,Alluxio 如何走过7年创业路

今年 2 月,Alluxio 宣布以实现收入同比增长 3 倍的成绩结束了 2022 财年。“这个财年的业绩进一步表明了市场需要更好的方法来访问大规模分析和 AI/ML 应用程序中的数据,尤其是在分布式混合云和多云环境中。”Alluxio 创始人兼 CEO 李浩源表示。

 

事实上,从当初一个论文项目到如今被市值最大的十家公司中的七家使用,李浩源用了九年的时间。那么,Alluxio 这样一个基础软件领域的创企,是如何从零成长至取得如今成绩?Alluxio 又会如何应对当前动荡的市场呢?

 

起步:另辟蹊径的数据架构

 

2000 年初期,大数据伴随着互联网的蓬勃发展应运而生,从而衍生出整个数据科技的发展。从宏观角度看,数据科技可以分成两层:上层的计算和下层的存储。一直以来,存储占据了整个数据生命周期的绝大部分。

 

2013 年,北大毕业后来到伯克利攻读博士学位的李浩源在准备毕业论文时,自然而然地想要做存储相关的选题。但在调研了存储行业的发展历程后,李浩源发现,这个行业每 5~10 年就会发生一次革新,新产品取代上一代产品。同时,存储市场极其分散,没有一家企业的市场份额能占到 25%以上,也没有一款产品的数据存储量能占整个全球数据量的 5%以上。

 

有鉴于此,在存储领域做到改变行业的颠覆性创新,在可预见的未来几乎是不可能的。”李浩源说道,“但是,我们可以把存储里面的数据管理好,让这些数据更好地来服务上层数据应用,从而提高整个社会效率。”

 

带着这个想法,李浩源提出了一种新的架构,即将虚拟分布式文件系统(Virtual Distibuted File Syestem)作为计算层和存储层之间的新层,为上层 Spark、Presto、Tensorflow、Pytorch 等计算框架提供服务。

 

这就是李浩源的博士论文《虚拟分布式文件系统》研究的主题。这个项目在当时被称为 Tachyon,也是如今 Alluxio 的前身。

 

伯克利大学一直有开源的传统,李浩源顺应了这一传统,在第一时间将这个项目开源。开源后,李浩源发现整个技术演进路线的确在往其预想的方向发展,项目也有了越来越多的用户,收到了越来越多业界的正向反馈。

 

不过,要想实现更宏大的愿景就需要更加体系化的公司化运营,因此,2015 年,李浩源选择了创业。

    

创业初期,很多事情都要李浩源亲力亲为,但最重要的还是按照规划把产品打磨到 1.0 版本。“我们要把代码写好,大家对代码有了反馈后去进行支持或回应,把产品打磨的越来越好。”李浩源说道。

 

2016 年,Alluxio 1.0 版本正式发布,这是首个以内存为中心的虚拟分布式存储系统,统一了数据访问的方式,在上层计算框架和底层存储系统之间搭建了桥梁。

 

与此同时,Alluxio 开源社区也在不断发展。社区日常管理由 PMC(项目管理委员会)负责。而在有了更多用户后,李浩源开始把更多时间用在与用户和开发者交流上,希望参与进来的人可以为社区做出贡献。据悉,Alluxio 目前在 GitHub 上的贡献者已超过 1,200 人,社区 Slack 频道成员接近 10,000 人。

 

开源助力商业化

 

产品逐渐成熟后,Alluxio 开始进入商业化阶段。早期没有客户时候的商业化很难,但好在 Alluxio 的开源社区获得了一些行业和社区的认可,因此当这些开发者有需求的时候便会主动找到 Alluxio。李浩源也很重视与潜在用户的交流,帮助解决用户具体痛点,建立信任后再进行更大的合作。这样的方式,帮助 Alluxio 完成了早期用户积累。

 

Alluxio 的商业化模型与其他开源产品差不多,都是在开源版本基础上添加商业化功能,并以付费的企业版输出,企业版根据客户使用的节点情况收取费用。

 

据悉, Alluxio 企业版在全球市场客单价从几十万美元到数百万美元规模不等,客户多集中在科技、金融、电信等行业。李浩源此前表示,Alluxio 90%的客户都是全球五百强,产品已经得到很好的市场验证。

 

随着企业的发展,李浩源开始将精力放在为公司的整体发展和方向做出决策,以确保制定最为有效的战略,让公司成长为一家全球领先的企业。

 

实际上,自 Alluxio 创立以来,数据生态系统发生了巨大的变化,越来越多的企业开始上云。与在传统数据仓库中提供托管分析工作不同,云中的数据服务变得更加遥远(如从 S3 传输)、孤立(如分布在多个不同的区域或存储服务中),并且通常在性能上存在很大差异。

 

为此,在 2019 年的纽约 AWS 峰会上,Alluxio 发布了大版本 2.0,针对多云增加了多项功能,包括支持跨本地和任意数量云进行自动数据分层等,还为云计算优化数据访问、与 AWS Elastic Map Reduce (EMR) 服务集成等。

 

而最近发布的2.9版本增加了跨环境集群同步功能,支持横向扩展的多租户架构,显著改进在 Kubernetes 上部署的工具集和指南,增强 Alluxio 的易管理性,并通过优化 S3 API 和 POSIX API 实现安全性和性能提升。

 

如今,全球头部互联网企业 Facebook、Airbnb、Uber、阿里巴巴、腾讯和字节跳动等已经在生产环境里部署了 Alluxio 的软件系统;全球前六名的云厂商中有五家云厂商已经嵌入了 Alluxio 的技术;全球前两名的芯片厂商英特尔、英伟达也在使用 Alluxio。

 

同时,Alluxio 也正在全球扩大目标市场规模和研发运营覆盖范围,其中包括大力拓展国内市场业务,将北京设立为中国区总部,并成立本地化的研发团队。今年 9 月,Alluxio 还与北京大学计算机学院签署产学研合作框架协议。

 

如何“过冬”

 

作为创业公司,Alluxio 在科研方面一直在进行大量投入,员工人数相比之前也实现了三倍增长,并且还在进一步扩大公司执行管理团队等。这些投入的背后主要来自 Alluxio 自身快速增长的营收和投资人的支持。

 

一方面,Alluxio 在前年营收实现了同比 3.5 倍的增长,去年实现 3 倍增长。另一方面,Alluxio 一步步兑现甚至超额完成预期也得到了投资人坚定支持,比如 a16z 一直在加磅 Alluxio。

 

不过当前受疫情影响,资本进入“寒冬”,全球企业都在面临着一场生死“大考”,Alluxio 也不例外。对此,李浩源的应对之道就是“练内功”。

 

“在市场动荡的情况下,企业更多还是要做好核心根基。正所谓‘集中力量练内功’,本质上就是把核心产品做得更好,为你的核心客户带来更多的价值,让已有客户更满意,在此基础之上再扩张。”李浩源补充道,“这也是 Alluxio 一直以来的发展策略。”

 

结束语

 

未来,Alluxio 将继续加强对大规模数据分析、人工智能技术的支持,通过加强与 Kubernetes  的整合等方式,优化用户使用体验。而对于其进一步深入扩展全球市场能做出什么样的成绩,李浩源很有信心。

 

“兵来将挡,水来土掩,面对未来的种种困难,只要一一处理就好了。”李浩源说道。

 

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2022-11-28 11:483197

评论

发布
暂无评论
发现更多内容

一文盘点,ZBC的应用场景与通缩场景

鳄鱼视界

【Redis 故障排查】「连接失败问题排查和解决」带你总体分析CPU及内存的使用率高问题排查指南及方案

洛神灬殇

redis 性能调优 缓存服务 2月日更

瑞萨RH850 CS+环境下设置堆和栈空间

不脱发的程序猿

嵌入式 汽车电子 MCU RH850 瑞萨IDE

智能汽车商业化、产业化演进及投资机会分析

不脱发的程序猿

汽车电子 智能汽车商业化 汽车行业投资机会分析

OKR之剑·实战篇06:OKR致胜法宝-氛围&业绩双轮驱动(下)

vivo互联网技术

团队管理 OKR

上架的时候怎么向某个版本添加构建版本

雪奈椰子

apple ios开发

软件测试/测试开发 | 网页 frame 与多窗口处理

测试人

软件测试 自动化测试 测试开发 Web自动化测试

Java 发展史

kcodez

Java 后端

中国工商银行签约易观千帆,夯实数字基石,助力用户价值增长

易观分析

金融 银行

ChatGPT入门案例|商务智能对话客服(一)| 社区征文

TiAmo

AI ChatGPT

ChatGPT时代的打工人众生相

白洞计划

ChatGPT

2022Q4手机银行运营亮点:“新版本迭代潮”叠加“个人养老金账户争夺战”

易观分析

金融 银行 经济

2023年第一季度汽车行业行情预测分析

不脱发的程序猿

汽车电子 2023年第一季汽车行业分析

2023-02-14:魔物了占领若干据点,这些据点被若干条道路相连接, roads[i] = [x, y] 表示编号 x、y 的两个据点通过一条道路连接。 现在勇者要将按照以下原则将这些据点逐一夺回:

福大大架构师每日一题

算法 rust 福大大

入门数据分析师的最强秘籍,都在这4本书里!

博文视点Broadview

探讨丨传统行业必须数字化转型吗?

优秀

数字化转型

5 如何优雅的告诉老板复制 ChatGPT几乎是“impossible”的?

涛哥 数字产品和业务架构

ChatGPT 业务架构师

中美ChatGPT的商业化分野

脑极体

ChatGPT

Java Map操作解锁新姿势

派大星

热点面试题: Array中有哪些非破坏性方法?

控心つcrazy

JavaScript array 前端面试题 Javascript框架 超全前端面试题

用户卖家平台三方螺旋成长 如何让商品推荐更智能

阿里技术

全球化技术能力

用这4招优雅的实现Spring Boot 异步线程间数据传递

小小怪下士

Java spring 程序员 springboot

基于文心大模型套件ERNIEKit实现文本匹配算法,模块化方便应用落地

汀丶人工智能

自然语言处理 nlp 2月月更 2月日更 文本匹配算法

活动预告|Triton Meetup 2023

AI Infra

AI

音乐APP用户争夺战,火山引擎VeDI助力用户体验升级!

字节跳动数据平台

大数据 增长 音乐 企业号 2 月 PK 榜

OneFlow源码解析:Eager模式下的SBP Signature推导

OneFlow

人工智能 深度学习 框架解析

宽表为什么横行?

王磊

Three.js 进阶之旅:物理效果-碰撞和声音 💥

dragonir

CSS JavaScript html 前端 three.js

银行业上云进行时,OLAP 云服务如何解决传统数仓之痛?

Kyligence

OLAP技术 传统数仓

线程私有变量ThreadLocal详解

Java随想录

Java 线程 并发

进击中的 Zebec 生态,Web2 与 Web3 世界的连接器

BlockChain先知

从博士论文到被各大厂应用,Alluxio 如何走过7年创业路_文化 & 方法_褚杏娟_InfoQ精选文章