【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

打造中国版“Snowflake”,经济低迷时期技术创业型公司如何乘风破浪?

  • 2023-08-02
    北京
  • 本文字数:5283 字

    阅读完需:约 17 分钟

打造中国版“Snowflake”,经济低迷时期技术创业型公司如何乘风破浪?

在当下科技创业热潮中,多云及一体化数据平台提供商云器科技备受瞩目。成立于 2021 年的云器科技,在近期宣布完成连续两轮总计数亿元人民币的融资,并举办新产品发布会的消息获得了广泛的关注。


这家初创公司选择在如此低迷的经济环境中乘风破浪,其背后秘诀何在?他们又是如何看待技术创新与商业成功的关系?在全球竞争激烈的市场上,云器科技如何保持核心竞争力?一体化趋势下,云器自创的 Single-Engine 理念有何独特之处?近期,InfoQ【C 位面对面】栏目特别邀请到云器科技联合创始人 & CTO 关涛,来分享云器科技的创业之路、技术创新策略以及对中国数据平台发展的独到见解,


探讨主题如下:


  1. 中国版的 Snowflake 在哪里?

  2. 在低迷的经济环境中,技术创业型公司如何乘风破浪?

  3. 一体化趋势下,技术创新有哪些关键点?


中国版的 Snowflake 在哪里?


关涛:相比海外,中国的原创数据平台技术公司和产品还是太少。我们希望在技术侧推出自有的新技术理念,也希望构建中国的云上国之重器,打造中国原创的数据平台技术。


InfoQ:云器科技成立于 2021 年,彼时国内的数据平台正处于发展期向普惠期过渡的阶段。为什么选择这样一个时机创立云器科技?创立云器科技的初心是什么?


关涛:从整体发展的视角看,国内的数据平台市场有很大的空间和潜力。我个人来讲,我们希望在技术侧能推出有自己理念的新东西。我们之所以取名叫云器,也是希望构建中国的云上国之重器,打造中国原创的数据平台技术。


InfoQ:当时,国外市场上 Snowflake、Databricks 这样的产品已经经历了 8-10 年的发展,一直保持高速增长。云器是否考虑过复制他们的成功模式?云器科技设定的发展路线 / 策略是怎样的?


关涛:从商业模式来看 Snowflake 有几个特点。首先它是多云的商业模式,基础设施在云上,我们希望按这个模式来做。其次它是 SaaS 模式,用户无需关心技术细节,上手简单,我们也是一样的定位。所以我们与 Snowflake 的商业模式、产品理念基本一致,我们希望填补中国在这方面的空白,满足愿意用 SaaS 化的多云平台的企业需求。


云器与 Snowflake 的不同在于技术侧。多年前 Snowflake 凭借 shared-data 架构与云原生模式取得成功,但那时的先进技术现在已经成熟了。我们的技术理念有所不同,我们推出了自己的增量计算模式与 Single-Engine 一体化设计。


InfoQ:在数据平台领域,中美是否有差异?中国企业有哪些本土技术创新的机会?


关涛:从市场的差别看,首先美国绝大多数的企业都在云上,选择自建云平台的很少。而中国还有 30% 左右的企业在线下做自己的数据中心,云化和数字化还有潜力。第二点,美国绝大多数企业不自建数据平台,而是选择 Snowflake 等产品,而国内基于开源自建很普遍,这是市场侧的差异。技术视角的差异没那么大,但美国前五的数据平台都是原创技术,而国内企业更多是拿来主义,原创偏少。更多中国企业选择了自己修改开源方案,同质化明显。国内还没有 Snowflake 这样有规模和影响力的公司和产品,这也给国内注重原创技术的企业创造了很大的市场机会,这样的企业如果做得比较好就会有很大的回报。


InfoQ:最近网上热门的讨论主题在说“中国不需要 SaaS”,国内的大环境下 SaaS 企业很难生存,认为中国应该走印度 InfoSys(外包管理公司)这样的技术路线,不需要 SaaS,您怎么看待?


关涛:从我们自身情况看,云器从创业到现在,从云底座管控平台到 HR 系统、绩效系统、文档系统和周边的很多系统,几乎都选择了 SaaS 化服务。从这个层面上讲,我认为 SaaS 已经潜移默化地改变了非常多国内企业的形态。所以 SaaS 在中国已经发展起来了,并不是伪需求。


而很多企业之所以需要的是解决方案而非平台,是因为国内 IT 人员数量总体少、企业技术水平不高,没有足够的人基于 SaaS 做业务开发,需要其他公司来做整体的解决方案。所以国内的 SaaS 就要做得更加简单易用,而不是单纯抱怨市场。服务好客户仍然是国内 SaaS 的成功关键。


另外,国内企业更愿意选择 SaaS 加服务的模式。针对技术水平较高的企业可以提供标准化产品,同时针对技术薄弱的环节要提供定制化的服务做补充。


InfoQ:打造中国版的 Snowflake 是很多厂商的愿景,那么为什么在中国至今仍然没有出现 Snowflake 这样的巨头公司?如何看待多云数据平台与云厂商的竞争格局?


关涛:我们把 Snowflake 定义成多云独立、SaaS 化且有一定影响力和营收规模的平台,那么国内为什么没有这样的巨头?首先中国原创的数据技术还是太少了,而基础设施需要长周期、大投入,要有很多经验积累。而国内这一领域相对年轻,积累总体少。另一方面国内企业的付费意愿也不够高,SaaS 化的商业环境不够友好。但未来随着越来越多的企业意识到自建数据平台并非自己的核心竞争力,不应该在这方面投入重资产,国内迟早会有 Snowflake 这样的企业成长起来。


其实云器和国内云厂商的关系可以类比 Snowflake 和亚马逊云科技的关系。Snowflake 没有替代亚马逊云科技,云器也不会替代其他国内云厂商。云器 Lakehouse 平台是构建在云上,与其他厂商之间以合作关系为主。


在低迷的经济环境中,技术创业型公司如何乘风破浪?


关涛:经济低迷的环境中,有着深厚积累的技术平台企业有更多机遇。云器专注于细分领域,只要能做到最快、最简单、最低成本,就能在数据平台这样成熟的技术领域获得市场成功。


InfoQ:近日,云器科技宣布已完成连续两轮总计数亿元人民币的融资,且刚刚举办了新产品发布会。作为一家初创公司,在经济依旧低迷的当下,云器快速成长的秘诀是什么?


关涛:第一,最近一年半我们一直专注技术和产品本身,最近才开始正式接触客户,所以经济环境对我们影响不是很大。在经济低迷期,我们刚好做积累来构建产品。第二,经济低迷的环境让我们和客户都更容易想清楚定位。客户经过测试发现云器确实更简单,也能给他们降低成本。所以这样的经济环境对于平台技术企业并不完全是坏事。我们希望在这样的经济条件下提供给客户多一个选择,让轻资产的客户也可以有高性能、低成本的数据平台。


轻资产 / 重资产 IT 投入,数据平台是否自建,这些问题一直有争论。但我们认为,最终效率会成为判断的“黄金指标”。我们会更专注于细分领域,效率会是我们的核心价值。


InfoQ:您认为该如何判断一项技术是否能够在商业上取得成功?


关涛:我的理解,创业大概有两种模式。第一种创业模式叫 Searching,是说我有一套新技术、一套新想法,但不知道这套想法能不能最终转化成商业成就,不知道就去做 search ,类似在森林里找路的模式,找到金矿就赢,找不到就输。例如 LLM 大模型当前总体还属于这样的模式,大家都在寻找合适的商业化路径。还有一种叫 Mountain Climbing,也就是爬山模式。这种模式下商业场景是清楚的,大家是沿着不同路径向山顶爬,看谁爬得快爬得好,谁就能赢得市场。


数据平台领域其实是后者,数据平台的价值、应用场景都非常清楚,最后谁的技术最好、最简单、最低成本,谁就赢。


InfoQ:云器科技如何看待开源领域的发展?在竞争激烈的市场中保持核心竞争力的关键是什么?


关涛:云器还没有开源,短期开源战略也不是我们重点。我认为在一个技术领域的发展初期,开源会极大推动这个领域的发展。那时行业的头部企业和研发人员有着很好的技术水平,他们开源后回馈社区,形成技术迭代,推动行业快速成长。但随着技术发展逐渐成熟,很多传统行业的用户进入市场,他们就不那么看重开源,而只是想要简单、便宜、好用的产品,甚至不想知道内部的技术细节。我们认为现在数据平台已经发展到了这个阶段,这也是我们没有选择开源的一个原因。


另外,开源体系更像组装式的架构,每个开源的领域都很小,大家拼到一起形成一个大生态。但对于很多用户而言,比如 Snowflake 的客户,他希望你把所有细节都封装起来,展现给用户的是一个简单的接口,闭源模式更适合这个领域现在的状态。


InfoQ:在前不久的发布会上,云器科技发布了新一代数据平台云器 Lakehouse。能否聊聊云器 Lakehouse 的研发历程,在整个过程中团队遇到过哪些困难挑战,又是如何克服的?


关涛:我们创业两年来,目标一直是做下一代的数据平台,技术路线一开始就确定了,包括不开源、SaaS 模式、湖仓一体架构,Single-Engine 一体化这些大方向都没有变动过。执行阶段整体还是非常聚焦。原创数据平台技术门槛和投入高,我们产品 MVP 版本开发大约用了 1 年。之后是 PMF,经过多次迭代,听取客户反馈意见,不断加入新的需求,完善产品体验,最后有了现在的产品。但在细节上我们还是做了很多尝试,例如 AI for Data 这个方向我们就有很多尝试和调整。


技术架构选型上,就说一个细节,相比数仓来说,湖仓架构能兼顾数据的开放性、引擎的多样性,同时又兼具数仓的高性能。它是面向未来企业需求设计的架构。云器 Lakehouse 就是湖仓一体的架构,也是现在的主流设计。


InfoQ:有用户会担心,既然云器不开源,那么企业选择云器后如何避免被绑定呢?


关涛:这是好问题,我们在设计上也特别关注这个方面。首先,云器的多云架构保证了企业调整基础设施的灵活性,用户去哪个云都可以用这个平台;其次,我们在开放性上做了额外的工作,计算不锁定,存储开放。用户存储的数据可以开放成开源的标准格式,用户也有权限访问这些数据,用户的其它引擎都可以直接来读这些数据,所以并不会有绑定。


一体化趋势下,技术创新的关键是什么?


关涛:我们认为流、批和交互这三个计算范式都不能替代对方,需要一个更新的计算范式去覆盖,所以我们提出了第四种计算范式叫做增量计算。同时,我们选择了 Shared-Everything 系统架构替代 shared-data,我们认为这样的一套技术可以实现一体化的基础目标。


InfoQ:现如今,一体化或者 Converged infrastructure 成为业界的共同趋势。您如何理解“一体化”的概念?理想状态的“一体化”应该是怎样的?


关涛:我们谈一体化主要是从数据平台和数据分析的视角上来谈的。数据分析平台可以分成批处理、流处理和交互分析这三类场景,分别对应大批量数据计算、数据新鲜度较高的流计算和非常高性能的交互分析。对此国内主流解决方案是组装式的,用三个引擎分别满足这三个不同场景的需求。这样的好处是每个引擎都可以在特定场景上做到极致,但带来的挑战也有很多。比如三个引擎的接口不统一,有的引擎是带存储的,有的引擎带元数据,导致数据和存储都不统一,分散在三个引擎的不同位置,导致数据管理非常复杂。数据要在多个引擎间同步,数据版本都很难对齐。这种组装式的架构叫 Lambda 架构,

这个架构的问题和挑战,也业界也都清楚。业界为了解决 Lambda 架构的问题做了很多尝试,流批一体就是一个尝试。整体来说,技术是向着一体化的方向不断发展。云器的 Single-Engine 就实现了离线、实时、交互、分析的统一,希望尽可能同时覆盖三大场景,让用户轻松使用。


InfoQ:Single-Engine 方案的独特之处是什么?


关涛:Single-Engine 背后实际是增量计算的计算范式。之前我们经过分析,认为流、批和交互这三个计算范式都不能替代对方,需要一个更新的计算范式去覆盖,所以我们提出了第四种计算范式叫做增量计算。基于这个范式打造出来的引擎就叫做 Single-Engine。计算侧,我们是用增量计算的计算范式实现的;存储侧是增量的湖仓存储。整体的系统架构上我们选择了 Shared-Everything 架构,比 shared-data 又进一步。我们认为这样的一套技术可以实现一体化的技术目标。


InfoQ:在将产品推向市场的过程中,云器收到过哪些来自客户对于产品的反馈?


关涛:我们的技术理念和方向,还是得到普遍的认可。比如一家国内知名的汽车厂商,在他们的流水线中我们真正做到了低成本的全能增量化。客户原来只有 10% 的场景是实时化的,我们把他所有的场景都做到实时化,还帮他降了 50% 的成本,真正解决了客户的问题。


另外就是,客户试用、盲测,他们的第一印象就是我们的性能表现很不错。


客户 Onboard 是一个比较复杂的过程,因为涉及基础架构升级。第一阶段是客户的试用、盲测需求,他们的第一印象就是我们的性能表现很不错。经过初始的展示环节,客户会走 POC 的流程,选他自己的场景来做测试。之后如果觉得不错,会挑选多个业务场景中的一个来试用。比如说我们有一个客户选了实时化的线路,第一阶段是先把实时化的部分业务迁移上来,离线部分和 AI 的部分排在后面,这种渐进式的替代过程是比较典型的。


InfoQ:面向未来,您觉得数据领域的重要趋势是什么?云器科技未来有怎样的规划?


关涛:从技术视角看,在数据分析领域,一体化是大趋势。从客户视角看,只要能更好地解决客户问题、提升效率、降低成本就能赢得市场。一体化是提升效率、降低成本的一个好手段。


另外数据和 AI 的一体化也是一个趋势。AI 如何与数据平台结合还有很多值得探索的方向。未来 AI 一定很重要,但它的具体形态现在还不能完全确定。未来有更多物料数据进入湖仓平台,云器这样的平台可以通过 AI 能力提供扩展性,支持更丰富的数据类型。


我们今天身处很好的时代,这是一个技术加速迭代的时代。我们期待和国内的平台从业者、客户一起,共同推动中国的原创数据技术向前发展。我们一起在全球打出中国数据平台的技术品牌知名度和影响力,这需要客户的支持,也需要更多同业者的互相扶持。

2023-08-02 15:082775

评论

发布
暂无评论
发现更多内容

让你大显身手——掌握RocketMQ与Kafka中如何实现事务

小谈

kafka 面试 RocketMQ JVM原理

深入理解队列:LinkedBlockingQueue源码深度解析

itlemon

阻塞队列 LinkedBlockingQueue Queue

架构师训练营 - 第五周命题作业

牛牛

极客大学架构师训练营 命题作业 一致性Hash算法

码农必备SQL高性能优化指南!35+条优化建议立马get

码哥小胖

MySQL SQL语法 sql查询 sql

阿里P7岗位面试,面试官问我:为什么HashMap底层树化的标准元素个数是8

鄙人薛某

Java 面试 hashmap 哈希

最强总结——分布式事务处理方式

小闫

面试 分布式 分布式锁 分布式存储 分布式缓存

【week05作业】

chengjing

架构师训练营 一致性Hash算法Java实现

Cloud.

架构师训练营 - 第 5 周学习总结

红了哟

架构师训练营 - 第 5 周命题作业

红了哟

搞懂Spring事务失效的8大原因,轻轻松松面试过关

码哥小胖

Java spring Spring Boot

正确的做事比做正确的事更重要

魔曦

架构师 极客大学架构师训练营

程序员是这样解读《隐秘的角落》

陈东泽 EuryChen

学习 程序员 隐秘的角落

最右JS2Flutter框架——开篇(一)

刘剑

flutter 大前端 探索与实践

打造Redis分布式环境下的银弹?我觉得Redisson比Redlock更胜一筹

码农月半

Java redis redis高可用 Redis项目

公司制的黄昏:区块链重构商业世界

CECBC

区块链思维 裂变 契约 激励

记录一次拼多多Web前端面试【一面+二面+hr面】

阿文

面试 Spring Cloud Spring Boot Web

week5

Geek_2e7dd7

因为我的一个低级错误,生产数据库崩溃了将近半个小时

鄙人薛某

Java MySQL 数据库 故障定位

20道Redis面试题(含答案)面试官会问的我都找到了

你是人间四月天

redis 面试 Spring Cloud redis6.0.0 Redis项目

Spring Boot 多数据源 Redis 配置

南南

redis 面试 Spring Boot Redis作者

产业区块链发展迎来爆发期

CECBC

产业区块链 系统稳定性 应用安全性 信任的机器

一篇文章深入理解分布式锁

itlemon

redis 分布式锁

阿里内推面试,挂在了一道简单的问题上…

小新

Java 阿里巴巴 程序员 架构 面试

week5 学习总结

Geek_2e7dd7

【week05】总结

chengjing

Uniapp使用GoEasy实现websocket实时通讯

GoEasy消息推送

uni-app websocket 即时通讯

第五周总结

武鹏

老龄化时代的人机共生:京东数科以AI机器人推动产业增长

脑极体

这份架构PDF如何得到百度、洋码头、饿了么CTO等大咖联袂推荐?

小新

Java 架构 面试 队列

啃碎并发(一):Java线程总述与概念

猿灯塔

打造中国版“Snowflake”,经济低迷时期技术创业型公司如何乘风破浪?_数据湖仓_王强_InfoQ精选文章