【ArchSummit架构师峰会】探讨数据与人工智能相互驱动的关系>>> 了解详情
写点什么

利好信息不断,国产基础软件的变局到了吗?

  • 2021-02-24
  • 本文字数:5181 字

    阅读完需:约 17 分钟

利好信息不断,国产基础软件的变局到了吗?

对话嘉宾 | 星环科技 CEO 孙元浩

采访 | 极客邦科技 CEO 霍太稳

整理、编辑 | 冯垚


2013 年, 孙元浩离开了就职 10 年的英特尔,同年创办星环科技,正式开启了基础软件国产化之路。英特尔 10 年,他经历了从底层 BIOS 到操作系统内核再到编译器的磨练,创业之后便专注于数据库领域。7 年时间,星环科技已全面覆盖基础软件领域的产品和服务。知名分析机构 Wikibon 更将星环科技评价为“产品策略对西方供应商非常具有指导意义的中国公司”。


孙元浩表示:“颠覆发生时,大家都在同一起跑线上,这正是我们超越的机会。”


随着分布式架构的推广和普及,传统的各 IT 产业的技术栈正在发生颠覆,一个颠覆性的变化,必将产生一个新的领军者,而颠覆的时代也给了星环科技获胜的希望。


2020 年,“新基建”迅速升温,5G 建设、数据中心、人工智能、工业互联网等新兴技术汹涌而至,对于“默默无闻”的基础软件的国产化而言,需要把握时机,并将其变成中国基础软件发展的一个重要节点。



视频观看地址:https://v.qq.com/x/page/m0969oyzbyk.html


极客邦科技 CEO 霍太稳(Kevin) 在采访结束后感慨道:


“星环科技这 7 年的经历,更像是一部国产基础软件的缩影。2013 年孙总从‘外’到‘内’的跨越,开启了星环科技自研的道路;2015 年,重构 Hadoop,代表了星环科技对抗竞争的呐喊;2018 年,通过 TPC-DS 测试,星环科技更是完成了超越。但基础软件国产化之路依旧漫长,长期来看国产基础软件的发展,一方面需要国家的重视与扶持,另一方面则需要科技企业不断的自主创新,拥有属于自己的竞争优势。”


星环科技是一家怎样的企业,其发展过程中经历了哪些重要阶段,现阶段的产品和技术能力如何?关于未来是如何规划的?我们一起从对话中获取一些关键信息,更详细的内容请点击视频查看。


Kevin:给公司取个好名字,是创业的第一步,“星环科技”是否有什么特别的寓意?


孙元浩:因为我是一个资深科幻迷,在创办星环科技之初,刷了三遍《三体》三部曲。中文名字的由来源自《三体》里面的星环集团,英文名字则源自《星际迷航》电影。寓意着公司未来能聚集世界上最优秀的科学家,打造世界上最领先的技术,探索属于未来的技术


并且我自己也留了一点点私心,希望用 Transwarp 这个名字来表示我创业的决心。Transwarp 是《星际迷航》电影中的一种超高速引擎技术,它是所有科幻小说和科幻电影中最快乐的。所以我用这个名字来表示星环科技将会打造最快的大数据处理引擎,他人无法超越。


Kevin:7 年星环,在市场探索和产品创新上,您的经验是什么?


孙元浩:这 7 年,我们一直在调整,无论是技术、市场还是销售。创业初期,我们专注于分布式的内存引擎,但由于内存容量过小,我们放弃了。于是我们又着眼于数据集市,但很快也发现它市场需求较小,不利于星环科技的发展。


再次放眼市场,星环科技发现,用户数据量激增,数据的存储和分析才是未来的重点。2013 年底我们开始调整方向,专注于大规模批处理。2014 年 9 月,我们的产品方向全面转向数据仓库产品,主要参考了大数据的四个 V 来定义产品。即:用分布式的分析数据库来解决数据量大的问题,用 NewSQL 数据库来解决多种数据结构异构数据的问题,用流处引擎来解决实时处理的问题,用机器学习算法来解决价值的问题。


随着时间的更迭,我们发现用户在处理数据时会涉及多种结构,在分析数据时也会涉及多种数据类型。今天,我们看到国外仍然是几十种数据库,于是我们意识到,应该有一个统一的平台。于是从 2015 年开始,我们对产品提出了重大革新,在这个过程中开源 Hadoop 已经完全不能适应这种变化了,就决定做原创的底层架构。


我们原本可以用开源软件去打造个应用,这样可能收益还能高一些。但我们觉得底层的软件如果不能实现突破的话,上层应用还是非常受限的,所以我们还是选择去做自己原创的基础软件。经过数年的实践,公司在技术上树立了自己的技术特色,拥有了 1600 多个高质量用户。所以到今天回过头来看的话,还算比较欣慰!


目前,星环科技全面布局“ABC”领域,分别为人工智能、大数据和云平台。主要产品包括 Transwarp Sophon 人工智能平台,Transwarp Data Hub 大数据平台和 Transwarp Data Cloud 大数据云平台。从底层的容器层到上面的这个大数据层,再到 AI 的工具层我们基本都有覆盖。


Kevin:在星环科技创立之初,搭建初创团队班子时有哪些标准?


孙元浩:创业之初组建的团队,是一群拥有相同梦想的人,大家都是看到了中国基础软件的希望,想拿出自己的产品与国外领先技术一争高下。那个时候招人几乎是靠人品和信念的,没有高工资和优越的工作环境,而且还是拼命的状态。


因此,星环科技树立了自己的企业文化,强调两点:第一,要有坚定的信心,一切敌人和对手都是可以被击败的;第二,认可星环科技追求卓越的企业文化,努力成为世界一流的大数据公司。


当公司步入正轨后,我们就开始关注与开发者和高校师生的互动,甚至我们在高校里开设课程,提前让学生了解行业的最新技术。并且也在招聘大批实习生到公司实习,这样优秀的学生就可以留下了。


Kevin:您怎么看国产基础软件的发展现状?


孙元浩:这是一个技术革命的时代,当颠覆发生,大家全部都在同一起跑线上,这正是我们超越的机会,我认为在未来的十年,将是中国基础软件发展的黄金期。


一方面,中国实的市场需求庞大,特别在大数据领域,数据量更是庞大,单个用户可以达到了 10TB 量级以上。另一方面,国内用户的需求多样,较少存在遗留系统的问题,国产基础软件的发展,将成为大势所趋。


如果我们沿着旧路线走,其他公司已经走了 30 年、40 年了,技术壁垒很难逾越。但随着计算的演进,未来将是分布式的时代,分布式架构将颠覆整个 IT 产业的技术栈,这预示着我们实现超越的机会真的到来了。


Kevin:如今国家层面也开始重视在基础设施上的投入,我觉得对于咱们来讲是一个非常好的契机,星环科技在这样一个大的趋势下,有没有要去做一些顺势而为的事情?


孙元浩:新基建的推行确实将成为中国经济转型的一个重要抓手,国家也将数据作为新型生产要素写入了文件,正在开始逐渐重视基础软件发展。


众所周知,过去多年中国的硬件基础设施得到了飞速发展,但基础软件的技术门槛较高、投入大、周期长,造成整个基础软件领域长期缺少关注度。随着国内 5G、人工智能、工业互联网、物联网技术的成熟发展,企业数字化转型已成为共识,在政府层面确实注意到了新型基础设施的重要性。例如,最近一直都在提的数字化政府、一网统管、一网通办等等,通过电子化手段来实现政府行政审批的简便化。


最重要的是,不仅政府应提高对新基建的重视,还需将这种意识渗透到各个行业中。可以看到,目前各行业的数字化转型是参差不齐的,比如金融行业水平较高,交通、制造业等还处于起步阶段。


星环科技作为专注于大数据和 AI 的基础软件公司,我们希望在这个历史大潮当中能够发挥我们的作用,也能够帮助我们的客户克服这些技术难题,提升他们数字化水平,快速实现转型,进而提升整个社会的数字化水平,助力国家新基建建设。


Kevin:大数据领域未来的技术发展方向有哪些?


孙元浩:首先简单回顾下大数据的发展历程,具体分为大数据 1.0、2.0、3.0 时代。1.0 时代,使用单机 MapReduce 做大规模的数据处理。2.0 时代,Spark 作为为主流的计算引擎成功替代了 MapReduce。3.0 时代,技术上出现五个层面的融合:融合的数据平台,融合的大数据分析语言,BI 和 AI 的融合,大数据、人工智能、云计算的深度融合,应用、数据、服务相互促进,并融合成为生态。


如今跨入到 3.0 时代,作为一家国产基础软件企业,星环科技提出了大数据、人工智能技术与云计算结合的理念。星环科技注意到,一个既实现高并发访问又能做批处理的平台将会成为刚需,用来解决客户多种结构牵扯多种数据库产品的困扰。于是,建立了自研的多模态的异构的数据处理平台。


通过接近 7 年的技术积累,星环科技提出了“四层统一、一层异构”的未来技术趋势。具体分为资源调度层统一、 分布式存储管理层统一、计算引擎统一、接口层统一和存储引擎层异构:


  1. 引擎层与接口层


星环科技认为单个引擎能应该采用动态调度机制,这意味着引擎层要实现统一。重构后的引擎层可以实现图处理、图分析和查询,同时也能达到搜索和 SQL 的目的,当然也可以保证结构化处理。单一的数据平台,从用户角度来看更方便、更易用。


当然星环科技也走过弯路,以前做的数据联邦,因为引擎没有统一,所以只能在接口层 SQL 层统一,然后将 SQL 分发到不同数据库上。但这种发放为静态划分,意味着如果是对两个数据库同时进行 Join,静态划分根本无法实际满足需求,所以动态调度机制已经成为大势所趋。


  1. 分布式存储管理层


星环科技通过 1200 万行软件代码的编写,逃离了原始 Hadoop 框架的束缚突破,抛弃掉 HDFS。我们正是看到了分布式文件系统效率低下,为了降低数据库的时延,摒弃以文件方式的读取形式,采用星环科技自研的存储结构,提高数据的读取效率。实现由不同的操作引擎来决定数据的分片、保障一致性和可靠性。


  1. 调度层


统一资源调度层,弃用通用性不强的 YARN 技术。2014 年底我们就意识到,用 YARN 技术来实现资源调度,不能实现资源有效隔离,只能支持 Hadoop 生态里面的组件,不支持其他应用。我们希望能打造一个通用的资源调度层,能够支持所有的分布式框架的各种计算引擎,同时也能支持单机的应用。


  1. 基础设施层


星环科技基于 Kubernetes 框架,实现了调度层、网络层和存储层的统一,实现了支撑所有大数据的各种计算引擎。而随着企业部署 IT 系统的加速,单个数据中心已无法承载企业的数据和应用,企业需要数据在多个数据中心之间能够互联互通,同时横跨私有云、公有云,为此星环科技提出了联邦云的概念。


Kevin:创新促使星环科技不断前进,6 月 5 日作为星环科技成立七周年的日子,星环科技是否准备了大动作?


孙元浩:2020 年 5 月 15 日,星环科技举行了新产品发布,全面升级“ABC”三条产品线。大数据平台 TDH7.0 首次亮相,主要针对解决用户普遍存在的不同数据库产品切换不便的问题。其中包含了我们称之为叫异构、多元、多模的数据处理平台,我们认为它代表了最新数据处理的研究趋势。


同时,我们发布了联邦云产品,它是能够解决多个数据中心,甚至是跨国数据中心之间的互联互通问题。还有我们的产品组合形成了一系列的解决方案,包括知识图谱、工业互联网、金融风险分析等。


此外,2020 年星环科技将在 AI 领域持续发力,目前提供机器学习的建模工具与知识图谱的构建工具。在知识图谱产品中星环科技将知识图谱和深度学习融合,更易于精准捕捉隐藏的图谱结构。更多星环科技 2020 年全新产品战略的详细资料,可登录星环科技官网或者关注星环科技微信公众号了解。


Kevin:我了解到星环科技在技术研发的投入还是比较大的,想了解一下,星环科技与英特尔成立联合技术创新实验室的目的?


孙元浩:不难看出硬件的变革推动了软件的变革,只有充分了解硬件技术的最新动态,才能更好的进行软件创新,所以我们是非常重视硬件的变化的。又因为我们的创业团队很多人在英特尔工作多年,了解英特尔在硬件上的创新速度,比如最近的存储技术。


当然我们同时也在跟世界其他顶尖的科技公司开展合作,我们的目标还是希望能够保持一个开放的心态,能够促进技术的进步。同时也可以保持星环科技的技术创新频率,让我们能够时刻保持领先的位置。


Kevin:除了技术合作,星环科技还有哪些保持技术独特性和领先性的办法?


孙元浩:从企业的角度来看,保持创新是必要的、必须的,CEO 需要以身作则时刻提醒大家应当不断前进。


第一,以客户为中心。由于实际生产当中,客户的问题都较为复杂,要求一线经理能下一线,真正去了解客户的需求,解决客户的问题。时刻以客户为中心,将解决客户问题做为驱动力才是取胜之匙。


第二,追求卓越的企业文化。我作为 CEO,希望凡事做一件事情,一定要做到完美,不能凑合就结束了,我的要求是一定要做到最好。这样的严于律己,才能将其设定为企业文化,才可以要求所有的员工精益求精。


第三,研发制度的苛刻。星环科技将产品三个维度:功能、性能、易用性三个维度,规定每个季度发布一个版本,并且务必要有功能增强、性能改进或者稳定性提升。从制度上面确保产品的迭代速率,不停实现创新。


Kevin:星环科技发展了七年,孙总觉得有没有达到您理想中的样子。或者说星环科技目前的发展您觉得成功了吗?


孙元浩:我觉得一家企业要成功可能需要十年,七年还不够,我们还要再奋斗。现在只能说我们初步在技术上、市场上有一些成果,但还是远远不够的,我们希望能够瞄准更高的目标实现前进,希望能在十年这个时间点上,我们能够达到一个新的里程碑。


星环科技不仅是孙元浩的个人转型,更是国产基础软件发展的预演。在基础软件国产化成为国家战略竞争制高点的今天,星环科技将顺势而为用 1200 万行软件代码搭建国产基础软件的壁垒,影响着未来国产基础软件的发展之路以及世界对中国技术的认知。

2021-02-24 08:423558

评论

发布
暂无评论
发现更多内容

喜报!SelectDB 携手中航信移动科技有限公司、四川大数据技术服务中心,双双入选大数据“星河(Galaxy)”优秀案例

SelectDB

数据库 大数据 数据湖 云原生 云上架构

基于开源体系的云原生微服务治理实践与探索

阿里巴巴云原生

阿里云 开源 云原生 service mesh

技术管理 之 跨功能需求管理

码猿外

技术管理 非功能性需求 跨功能性需求

极狐GitLab与欧拉操作系统完成兼容认证,开源产业自主创新再突破!

openEuler

Linux 开源 操作系统 openEuler 资讯

高并发环境下构建缓存服务,你需要注意这6点

华为云开发者联盟

高并发 开发 华为云 企业号 1 月 PK 榜

EMQ携“云边协同IIoT解决方案”亮相2022世界工业互联网产业大会

EMQ映云科技

人工智能 物联网 IoT 云边协同 企业号 1 月 PK 榜

YMatrix v5.0 发布:138 项深度优化,重塑集群架构,实现性能及高可用性全方位提升!

YMatrix 超融合数据库

OLAP OLTP 超融合数据库 数据库架构设计 YMatrix

划重点,2023 年最值得关注的 8 大技术趋势

PreMaint

人工智能 云计算 5G 技术趋势 元宇宙

读 NebulaGraph源码 | 查询语句 LOOKUP 的一生

NebulaGraph

图数据库 源码解读

OneFlow源码解析:静态图与运行时

OneFlow

人工智能 深度学习

基于云基础设施快速部署 RocketMQ 5.0 集群

Apache RocketMQ

RocketMQ 云原生 消息队列

一文了解华为FusionInsight MRS HBase的集群隔离方案RSGroup

华为云开发者联盟

大数据 后端 华为云 企业号 1 月 PK 榜

2023年AI十大展望:GPT-4领衔大模型变革,谷歌拉响警报,训练数据告急

OneFlow

人工智能 深度学习

【双机热备小知识】两台服务器可以做双机热备吗?

行云管家

高可用 双机热备

旅游业复苏在即,区块链赋能智慧旅游新体验

旺链科技

区块链 区块链技术 区块链技术应用

DTALK直播预约 | 金融行业嘉宾分享:金融机构数据治理实践路径

袋鼠云数栈

双机热备的优点简单分析-行云管家

行云管家

高可用 双机热备

云原生安全系列 4:6个 Kubernetes 安全最佳实践

HummerCloud

Kubernetes 云原生安全

一文详解RocketMQ的存储模型

华为云开发者联盟

开发 华为云 企业号 1 月 PK 榜

2022 最新版 JDK 17 下载与安装 步骤演示 (图示版)

雪奈椰子

iOS上架 ios打包

程序员面试中一面、二面、三面有什么区别?

小小怪下士

Java 程序员 java面试

软件测试/测试开发丨iOS 自动化测试踩坑(一): 技术方案、环境配置与落地实践

测试人

ios xcode 软件测试 自动化测试 测试开发

2022大厂投资盘点:最大的投资就是减少投资

ToB行业头条

明天 9 点!Doris Summit 2022 拉开序幕,立即报名年度技术盛会!

SelectDB

数据湖 云原生 实时数仓 湖仓一体 数据库·

2022 Apache APISIX 年度记忆

API7.ai 技术团队

api 网关 APISIX 年终盘点 apache 社区

强强联手 | 尚硅谷&腾讯云EMR离线数仓教程发布

小谷哥

一线大厂面试官力荐: Spring Security Oauth2.0 认证授权全彩笔记

架构师之道

编程 微服务 架构师

TiDB 6.5 LTS 发布 企业级关键能力跃升

Geek_2d6073

Serverless时代的微服务开发指南:华为云提出七大实践新标准

华为云开发者联盟

微服务 云原生 后端 华为云 企业号 1 月 PK 榜

华为云发布CodeArts TestPlan测试管理平台 守护产品质量之魂

科技热闻

为iframe正名,你可能并不需要微前端

阿里巴巴终端技术

前端 微前端 iframe

利好信息不断,国产基础软件的变局到了吗?_大数据_冯垚_InfoQ精选文章