AI 年度盘点与2025发展趋势展望,50+案例解析亮相AICon 了解详情
写点什么

打造中国版“Snowflake”,经济低迷时期技术创业型公司如何乘风破浪?

  • 2023-08-02
    北京
  • 本文字数:5283 字

    阅读完需:约 17 分钟

打造中国版“Snowflake”,经济低迷时期技术创业型公司如何乘风破浪?

在当下科技创业热潮中,多云及一体化数据平台提供商云器科技备受瞩目。成立于 2021 年的云器科技,在近期宣布完成连续两轮总计数亿元人民币的融资,并举办新产品发布会的消息获得了广泛的关注。


这家初创公司选择在如此低迷的经济环境中乘风破浪,其背后秘诀何在?他们又是如何看待技术创新与商业成功的关系?在全球竞争激烈的市场上,云器科技如何保持核心竞争力?一体化趋势下,云器自创的 Single-Engine 理念有何独特之处?近期,InfoQ【C 位面对面】栏目特别邀请到云器科技联合创始人 & CTO 关涛,来分享云器科技的创业之路、技术创新策略以及对中国数据平台发展的独到见解,


探讨主题如下:


  1. 中国版的 Snowflake 在哪里?

  2. 在低迷的经济环境中,技术创业型公司如何乘风破浪?

  3. 一体化趋势下,技术创新有哪些关键点?


中国版的 Snowflake 在哪里?


关涛:相比海外,中国的原创数据平台技术公司和产品还是太少。我们希望在技术侧推出自有的新技术理念,也希望构建中国的云上国之重器,打造中国原创的数据平台技术。


InfoQ:云器科技成立于 2021 年,彼时国内的数据平台正处于发展期向普惠期过渡的阶段。为什么选择这样一个时机创立云器科技?创立云器科技的初心是什么?


关涛:从整体发展的视角看,国内的数据平台市场有很大的空间和潜力。我个人来讲,我们希望在技术侧能推出有自己理念的新东西。我们之所以取名叫云器,也是希望构建中国的云上国之重器,打造中国原创的数据平台技术。


InfoQ:当时,国外市场上 Snowflake、Databricks 这样的产品已经经历了 8-10 年的发展,一直保持高速增长。云器是否考虑过复制他们的成功模式?云器科技设定的发展路线 / 策略是怎样的?


关涛:从商业模式来看 Snowflake 有几个特点。首先它是多云的商业模式,基础设施在云上,我们希望按这个模式来做。其次它是 SaaS 模式,用户无需关心技术细节,上手简单,我们也是一样的定位。所以我们与 Snowflake 的商业模式、产品理念基本一致,我们希望填补中国在这方面的空白,满足愿意用 SaaS 化的多云平台的企业需求。


云器与 Snowflake 的不同在于技术侧。多年前 Snowflake 凭借 shared-data 架构与云原生模式取得成功,但那时的先进技术现在已经成熟了。我们的技术理念有所不同,我们推出了自己的增量计算模式与 Single-Engine 一体化设计。


InfoQ:在数据平台领域,中美是否有差异?中国企业有哪些本土技术创新的机会?


关涛:从市场的差别看,首先美国绝大多数的企业都在云上,选择自建云平台的很少。而中国还有 30% 左右的企业在线下做自己的数据中心,云化和数字化还有潜力。第二点,美国绝大多数企业不自建数据平台,而是选择 Snowflake 等产品,而国内基于开源自建很普遍,这是市场侧的差异。技术视角的差异没那么大,但美国前五的数据平台都是原创技术,而国内企业更多是拿来主义,原创偏少。更多中国企业选择了自己修改开源方案,同质化明显。国内还没有 Snowflake 这样有规模和影响力的公司和产品,这也给国内注重原创技术的企业创造了很大的市场机会,这样的企业如果做得比较好就会有很大的回报。


InfoQ:最近网上热门的讨论主题在说“中国不需要 SaaS”,国内的大环境下 SaaS 企业很难生存,认为中国应该走印度 InfoSys(外包管理公司)这样的技术路线,不需要 SaaS,您怎么看待?


关涛:从我们自身情况看,云器从创业到现在,从云底座管控平台到 HR 系统、绩效系统、文档系统和周边的很多系统,几乎都选择了 SaaS 化服务。从这个层面上讲,我认为 SaaS 已经潜移默化地改变了非常多国内企业的形态。所以 SaaS 在中国已经发展起来了,并不是伪需求。


而很多企业之所以需要的是解决方案而非平台,是因为国内 IT 人员数量总体少、企业技术水平不高,没有足够的人基于 SaaS 做业务开发,需要其他公司来做整体的解决方案。所以国内的 SaaS 就要做得更加简单易用,而不是单纯抱怨市场。服务好客户仍然是国内 SaaS 的成功关键。


另外,国内企业更愿意选择 SaaS 加服务的模式。针对技术水平较高的企业可以提供标准化产品,同时针对技术薄弱的环节要提供定制化的服务做补充。


InfoQ:打造中国版的 Snowflake 是很多厂商的愿景,那么为什么在中国至今仍然没有出现 Snowflake 这样的巨头公司?如何看待多云数据平台与云厂商的竞争格局?


关涛:我们把 Snowflake 定义成多云独立、SaaS 化且有一定影响力和营收规模的平台,那么国内为什么没有这样的巨头?首先中国原创的数据技术还是太少了,而基础设施需要长周期、大投入,要有很多经验积累。而国内这一领域相对年轻,积累总体少。另一方面国内企业的付费意愿也不够高,SaaS 化的商业环境不够友好。但未来随着越来越多的企业意识到自建数据平台并非自己的核心竞争力,不应该在这方面投入重资产,国内迟早会有 Snowflake 这样的企业成长起来。


其实云器和国内云厂商的关系可以类比 Snowflake 和亚马逊云科技的关系。Snowflake 没有替代亚马逊云科技,云器也不会替代其他国内云厂商。云器 Lakehouse 平台是构建在云上,与其他厂商之间以合作关系为主。


在低迷的经济环境中,技术创业型公司如何乘风破浪?


关涛:经济低迷的环境中,有着深厚积累的技术平台企业有更多机遇。云器专注于细分领域,只要能做到最快、最简单、最低成本,就能在数据平台这样成熟的技术领域获得市场成功。


InfoQ:近日,云器科技宣布已完成连续两轮总计数亿元人民币的融资,且刚刚举办了新产品发布会。作为一家初创公司,在经济依旧低迷的当下,云器快速成长的秘诀是什么?


关涛:第一,最近一年半我们一直专注技术和产品本身,最近才开始正式接触客户,所以经济环境对我们影响不是很大。在经济低迷期,我们刚好做积累来构建产品。第二,经济低迷的环境让我们和客户都更容易想清楚定位。客户经过测试发现云器确实更简单,也能给他们降低成本。所以这样的经济环境对于平台技术企业并不完全是坏事。我们希望在这样的经济条件下提供给客户多一个选择,让轻资产的客户也可以有高性能、低成本的数据平台。


轻资产 / 重资产 IT 投入,数据平台是否自建,这些问题一直有争论。但我们认为,最终效率会成为判断的“黄金指标”。我们会更专注于细分领域,效率会是我们的核心价值。


InfoQ:您认为该如何判断一项技术是否能够在商业上取得成功?


关涛:我的理解,创业大概有两种模式。第一种创业模式叫 Searching,是说我有一套新技术、一套新想法,但不知道这套想法能不能最终转化成商业成就,不知道就去做 search ,类似在森林里找路的模式,找到金矿就赢,找不到就输。例如 LLM 大模型当前总体还属于这样的模式,大家都在寻找合适的商业化路径。还有一种叫 Mountain Climbing,也就是爬山模式。这种模式下商业场景是清楚的,大家是沿着不同路径向山顶爬,看谁爬得快爬得好,谁就能赢得市场。


数据平台领域其实是后者,数据平台的价值、应用场景都非常清楚,最后谁的技术最好、最简单、最低成本,谁就赢。


InfoQ:云器科技如何看待开源领域的发展?在竞争激烈的市场中保持核心竞争力的关键是什么?


关涛:云器还没有开源,短期开源战略也不是我们重点。我认为在一个技术领域的发展初期,开源会极大推动这个领域的发展。那时行业的头部企业和研发人员有着很好的技术水平,他们开源后回馈社区,形成技术迭代,推动行业快速成长。但随着技术发展逐渐成熟,很多传统行业的用户进入市场,他们就不那么看重开源,而只是想要简单、便宜、好用的产品,甚至不想知道内部的技术细节。我们认为现在数据平台已经发展到了这个阶段,这也是我们没有选择开源的一个原因。


另外,开源体系更像组装式的架构,每个开源的领域都很小,大家拼到一起形成一个大生态。但对于很多用户而言,比如 Snowflake 的客户,他希望你把所有细节都封装起来,展现给用户的是一个简单的接口,闭源模式更适合这个领域现在的状态。


InfoQ:在前不久的发布会上,云器科技发布了新一代数据平台云器 Lakehouse。能否聊聊云器 Lakehouse 的研发历程,在整个过程中团队遇到过哪些困难挑战,又是如何克服的?


关涛:我们创业两年来,目标一直是做下一代的数据平台,技术路线一开始就确定了,包括不开源、SaaS 模式、湖仓一体架构,Single-Engine 一体化这些大方向都没有变动过。执行阶段整体还是非常聚焦。原创数据平台技术门槛和投入高,我们产品 MVP 版本开发大约用了 1 年。之后是 PMF,经过多次迭代,听取客户反馈意见,不断加入新的需求,完善产品体验,最后有了现在的产品。但在细节上我们还是做了很多尝试,例如 AI for Data 这个方向我们就有很多尝试和调整。


技术架构选型上,就说一个细节,相比数仓来说,湖仓架构能兼顾数据的开放性、引擎的多样性,同时又兼具数仓的高性能。它是面向未来企业需求设计的架构。云器 Lakehouse 就是湖仓一体的架构,也是现在的主流设计。


InfoQ:有用户会担心,既然云器不开源,那么企业选择云器后如何避免被绑定呢?


关涛:这是好问题,我们在设计上也特别关注这个方面。首先,云器的多云架构保证了企业调整基础设施的灵活性,用户去哪个云都可以用这个平台;其次,我们在开放性上做了额外的工作,计算不锁定,存储开放。用户存储的数据可以开放成开源的标准格式,用户也有权限访问这些数据,用户的其它引擎都可以直接来读这些数据,所以并不会有绑定。


一体化趋势下,技术创新的关键是什么?


关涛:我们认为流、批和交互这三个计算范式都不能替代对方,需要一个更新的计算范式去覆盖,所以我们提出了第四种计算范式叫做增量计算。同时,我们选择了 Shared-Everything 系统架构替代 shared-data,我们认为这样的一套技术可以实现一体化的基础目标。


InfoQ:现如今,一体化或者 Converged infrastructure 成为业界的共同趋势。您如何理解“一体化”的概念?理想状态的“一体化”应该是怎样的?


关涛:我们谈一体化主要是从数据平台和数据分析的视角上来谈的。数据分析平台可以分成批处理、流处理和交互分析这三类场景,分别对应大批量数据计算、数据新鲜度较高的流计算和非常高性能的交互分析。对此国内主流解决方案是组装式的,用三个引擎分别满足这三个不同场景的需求。这样的好处是每个引擎都可以在特定场景上做到极致,但带来的挑战也有很多。比如三个引擎的接口不统一,有的引擎是带存储的,有的引擎带元数据,导致数据和存储都不统一,分散在三个引擎的不同位置,导致数据管理非常复杂。数据要在多个引擎间同步,数据版本都很难对齐。这种组装式的架构叫 Lambda 架构,

这个架构的问题和挑战,也业界也都清楚。业界为了解决 Lambda 架构的问题做了很多尝试,流批一体就是一个尝试。整体来说,技术是向着一体化的方向不断发展。云器的 Single-Engine 就实现了离线、实时、交互、分析的统一,希望尽可能同时覆盖三大场景,让用户轻松使用。


InfoQ:Single-Engine 方案的独特之处是什么?


关涛:Single-Engine 背后实际是增量计算的计算范式。之前我们经过分析,认为流、批和交互这三个计算范式都不能替代对方,需要一个更新的计算范式去覆盖,所以我们提出了第四种计算范式叫做增量计算。基于这个范式打造出来的引擎就叫做 Single-Engine。计算侧,我们是用增量计算的计算范式实现的;存储侧是增量的湖仓存储。整体的系统架构上我们选择了 Shared-Everything 架构,比 shared-data 又进一步。我们认为这样的一套技术可以实现一体化的技术目标。


InfoQ:在将产品推向市场的过程中,云器收到过哪些来自客户对于产品的反馈?


关涛:我们的技术理念和方向,还是得到普遍的认可。比如一家国内知名的汽车厂商,在他们的流水线中我们真正做到了低成本的全能增量化。客户原来只有 10% 的场景是实时化的,我们把他所有的场景都做到实时化,还帮他降了 50% 的成本,真正解决了客户的问题。


另外就是,客户试用、盲测,他们的第一印象就是我们的性能表现很不错。


客户 Onboard 是一个比较复杂的过程,因为涉及基础架构升级。第一阶段是客户的试用、盲测需求,他们的第一印象就是我们的性能表现很不错。经过初始的展示环节,客户会走 POC 的流程,选他自己的场景来做测试。之后如果觉得不错,会挑选多个业务场景中的一个来试用。比如说我们有一个客户选了实时化的线路,第一阶段是先把实时化的部分业务迁移上来,离线部分和 AI 的部分排在后面,这种渐进式的替代过程是比较典型的。


InfoQ:面向未来,您觉得数据领域的重要趋势是什么?云器科技未来有怎样的规划?


关涛:从技术视角看,在数据分析领域,一体化是大趋势。从客户视角看,只要能更好地解决客户问题、提升效率、降低成本就能赢得市场。一体化是提升效率、降低成本的一个好手段。


另外数据和 AI 的一体化也是一个趋势。AI 如何与数据平台结合还有很多值得探索的方向。未来 AI 一定很重要,但它的具体形态现在还不能完全确定。未来有更多物料数据进入湖仓平台,云器这样的平台可以通过 AI 能力提供扩展性,支持更丰富的数据类型。


我们今天身处很好的时代,这是一个技术加速迭代的时代。我们期待和国内的平台从业者、客户一起,共同推动中国的原创数据技术向前发展。我们一起在全球打出中国数据平台的技术品牌知名度和影响力,这需要客户的支持,也需要更多同业者的互相扶持。

2023-08-02 15:083110

评论

发布
暂无评论
发现更多内容

助力 AI 技术共享,蚂蚁开源又一核心技术“因果学习系统 OpenASCE”

可信AI进展

人工智能 机器学习 开源

请重视你的简历

老张

面试 简历优化 简历

小度推出小度学习机K16:内容、AI功能、软硬件配置全面升级

新消费日报

好用的鼠标键盘记录工具:Mouse And Keyboard Recorder激活中文

胖墩儿不胖y

Mac软件 鼠标管理工具 Mac软件鼠标辅助

【Spring技术专题】「实战开发系列」保姆级教你SpringBoot整合Mybatis框架实现多数据源的静态数据源和动态数据源配置落地

洛神灬殇

spring mybatis springboot 数据源切换 2024年第六篇文章

服务器里面打开浏览器访问不了会是什么原因

德迅云安全杨德俊

通过小程序容器轻松打造自有App小程序生态

Geek_2305a8

Hackathon | Mint Blockchain 启动全球 NIP 创意提案黑客松活动!

NFT Research

blockchain 黑客松 NFT\

小程序怎样成为平台““破壁人”?全网引流的3种姿势!

Geek_2305a8

AI时代我们的IT团队架构应该如何应变

Onegun

人工智能 AI 团队组织

快手商品详情数据接口(ks.item_get)丨快手API接口

tbapi

快手商品详情数据接口 快手API接口 快手商品数据接口 快手数据采集

软件测试/测试开发/岗位内推丨字节跳动岗位开放

测试人

软件测试

数据资产入表“倒计时”,企业该如何抓住红利?

用友BIP

数据资产

Capture One Pro 22 for Mac(RAW图像处理软件) v15.4.2.12永久激活版

mac

苹果mac Windows软件 Capture One Pro 22 RAW文件转换器

探索跨语言、跨模态、跨任务的大模型驱动应用生态繁荣

百度开发者中心

人工智能 大模型

VRRP协议是什么?详解它的工作原理

百度搜索:蓝易云

云计算 Linux 运维 云服务器 VRRP

数据如何驱动AI大模型的竞争优势

百度开发者中心

人工智能 AI 大模型

小程序能否成为移动应用实现动态更新与敏捷迭代的突破口?

Geek_2305a8

软件测试开发/全日制/测试管理丨测试左移和测试右移

测试人

软件测试 测试开发

2024提升计划|优秀程序员的10大共性特征

SoFlu软件机器人

程序员 软件开发 代码 测试 单元测试 构架

身为程序员,你很有必要了解一下提效工具“JNPF”

互联网工科生

程序员 软件开发 低代码 JNPF

shell脚本中注意事项详解。

百度搜索:蓝易云

Linux 运维 Shell 云服务器 ECS

亿级流量摩擦出来的 ES 稳定性之道

常清静

方法论 ES 建模 Elastic Search ES优化

探索大模型在端侧应用的新形态

百度开发者中心

人工智能 图像识别 大模型

2023 CSIG青年科学家会议丨多模态大模型时代下的文档图像处理

热爱编程的小白白

简单聊聊数据库可以做什么,有什么用?

行云管家

数据库 云计算 大数据

深入理解 Docker 核心原理:Namespace、Cgroups 和 Rootfs

EquatorCoco

Docker 容器化 项目开发

新特性速览!Sermant重磅更新,1.3.0 release版本发布

华为云开源

微服务治理 sermant 字节码增强框架

打造中国版“Snowflake”,经济低迷时期技术创业型公司如何乘风破浪?_数据湖仓_王强_InfoQ精选文章