【ArchSummit】如何通过AIOps推动可量化的业务价值增长和效率提升?>>> 了解详情
写点什么

星环科技研发总监刘汪根:大数据 3.0 时代的星环之路

  • 2018-08-22
  • 本文字数:2240 字

    阅读完需:约 7 分钟

8 月 14 日,2018 星环科技大数据 3.0 研讨会北京站圆满举行,本站研讨会,来自各行业的参会嘉宾逾 300 人,星环科技联合北京大学、卓朗科技、联储证券、数起科技等众多合作伙伴、客户展开行业落地案例分享,旨在让观众对星环的产品有更深入的了解。

星环科技创始人兼 CEO 孙元浩先生率先登台,介绍了星环的发展趋势及产品路线。自 13 年星环科技成立以来,在五年内迅速发展,星环的家族产品越来越多。2018 年通过 TPC-DS 的测试,代表星环在此方面的技术已经达到世界顶尖水平,星环的客户数量也从 13 年的 6 个爆炸式攀升到了 1020 个,客户分布于大江南北,集中在北上广深,分支机构从上海出发,遍布全国,在新加坡,休斯顿,多伦多也有星环的足迹。

孙元浩认为,大数据 3.0 时代具备 5 个技术特征,融合的数据平台,开发方式的融合,BI+AI 的融合,ABC 的全面融合,应用 + 数据与企业生态应用的生态融合。

星环科技数据工程部资深架构师高俊杰为大家介绍了星环科技新一代智能大数据云平台 TDC,TDC 是大数据、云平台与人工智能三者成功融合的智能产物。星环科技的云平台 TDC 作为大数据 3.0 时代典型的落地产品,涵盖了星环科技的大数据平台、人工智能平台和云部署,实现 ABC 的全面融合,为业务创新提供了坚实的技术基础。

大型企业的大数据业务在演进过程中也将基本遵循:数据统一化—数据资产化—数据业务化—数据生态化的路线,星环科技 TDC 作为优秀的底层平台,遵循技术的发展趋势,以解决业务需求为目标,为更多行业应用提供可能。

星环科技分布式存储研发经理刘熙介绍了分布式闪存数据库产品:ArgoDB。由于如今数据平台复杂性急剧增加,数据存储多份、客户成本上升,实施、运维难度上升等,星环科技针对客户降低业务复杂性,避免冗余数据、节约硬件成本,降低实施、运维成本等需求打造了分布式闪存数据库产品:ArgoDB。

ArgoDB 拥有为高速硬件而生的存储格式,基于分布式一致性协议的存储引擎,专用的纯向量化计算引擎等诸多性能,简单灵活,更节省内存资源的火山模型,高效友好的索引都能提高数据使用的应用效率。无疑,硬件的发展将为软件提供更多可能。刘熙还从实施的角度与观众分享了银行、邮政业务等不同行业的大数据案例。

在演讲结束之后,星环科技研发总监刘汪根在一旁的会议室中与记者就大数据 3.0 的相关情况,回答了记者们的提问。

刘汪根先生分别为我们回顾了数据 1.0 时代到 3.0 时代的,星环科技的发展历程,让我们看到了星环科技在大数据 3.0 时代下所做出的努力。

他告诉记者,在 big data1.0 时代,很多企业不能很好地 hold 住这样的场景,开发与运维都有非常高的技术门槛,只有少量的高科技企业能够自建和使用。

以前是很多数据无法留存,现在因为大数据技术的进步,数据存储成本降低,企业可以将众多的数据进行留存。

广大的群体其实是需要大数据的能力,但是缺少入口和变现的能力。刘汪根认为,大数据的核心是引入了无限的、可扩展的计算能力,数据库的优势是良好的应用生态对接,我们如果把数据库的能力和大数据的能力结合起来,就会有非常好的再应用性,也可以大大降低开发难度。“这就是所谓的 2.0 的时代。”刘汪根解释说。

从 2015 年开始,结构化数据的处理问题已经基本解决,业界又开始把关注焦点转到了非结构化数据处理上面,特别是图像、视频、语音、文本的处理。同时,人们又试图用深度学习这样新的思路去解决过去 MapReduce 和 Spark 没有能很好解决的问题,这也意味着大数据技术开始进入 3.0 时代。

技术的进步使得整个的数据收集和梳理的工作变得容易,数据的处理变容易了以后,就需要做数据化运营,也就需要很多核心应用。这就形成了一个数据 + 应用 + 整个生态的融合。

Big data 3.0,刘汪根认为要解决的问题很简单:第一是积累高质量的数据;第二,做出创新的应用;第三,有一个平台,可以进行创新应用的分享。

刘汪根说:Big data 3.0 就要去解决这些问题,星环科技着重的研发有三点。

  • 第一,建立统一的数据的平台。将大数据技术和人工智能技术融汇起来,也可以依赖智能化的方式来梳理数据,并保证数据质量
  • 第二,在技术创新的过程中要去建立模型生态、应用生态。就像 APP store 一样,可以根据业务需求进行选择,并不断完善。
  • 第三,通过云化的 PaaS 层提供服务平台,用户无需关注底层细节,让服务随处可用。服务化的开放平台可以降低技术应用的门槛,让更多的开发者和业务人员进行创新。

这样整个的过程可以实现不管是产生数据、提供数据的人,还是利用数据作分析的人,以及开发模型的人,都能够找到期望的工作方式。

这个过程是一个完全民主的代化的体系,所有人在上面按照自己期望的方向去工作。大家可以产出,并进行共享,也可以引入比如内部数据的交换交易体系,或者像应用的定价体系。这样的话整个内部的生态就非常好地能够融入起来,这是我们认为未来三年比较大的趋势。统一的技术框架梳理以后,可以开发和利用大数据的群体可以拓展到几乎所有的人群,而不再是仅仅的公司内部技术比较高的人,或者对业务理解特别深的人才能做的这件事情。另外通过每层之间群体互相的数据和应用的分享,可以提高每个人的工作效率,最后形成这样一个服务生态。

结语

从大数据 1.0 到 3.0,这样一个原本让普通用户触不可及的技术就这样一步步走进人们的工作与生活。在降低技术门槛,推进技术民主化的进程中,星环科技一直在以它自己的方式默默地奉献着力量。在与星环科技的技术专家交流之后,我们似乎看到了 3.0 时代,星环科技将带来更多的可能性,我们将持续关注星环科技的未来动向,敬请期待。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2018-08-22 05:071442
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 262.2 次阅读, 收获喜欢 1293 次。

关注

评论

发布
暂无评论
发现更多内容

微信朋友圈高性能复杂度分析

一叶知秋

架构实战营

【Flutter 专题】56 图解自定义 BubbleWidget 气泡插件

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 9月日更

大厂offer任你挑!覆盖面试中近98%Java高频面试手册

Java 编程 架构 面试 大厂

黑灯瞎火搞什么?搞智造!

脑极体

微信朋友圈复杂度分析

Nico

模块二作业:分析一下微信朋友圈的高性能复杂度

apple

【VueRouter 源码学习】第三篇 - 路由插件 install 的实现

Brave

源码 vue-router 9月日更

网络攻防学习笔记 Day127

穿过生命散发芬芳

9月日更 办公网安全

微信朋友圈架构设计

白开水又一杯

#架构实战营

架构实战营 模块七作业

孫影

架构实战营 #架构实战营

如何判断一个项目是否值得投资?

石云升

9月日更

上线几小时下载量破百万!无价的这份阿里并发编程图册就这么强势

Java 编程 架构 面试 程序人生

博客升级之在线代码编辑器

devpoint

编辑器 9月日更

架构训练营模块二作业

guangbao

在用户故事中应该包含多细的细节?(译)——来自Mike Cohn

Bruce Talk

敏捷开发 译文 Agile User Story Product Owner

【架构训练营】第二次作业

Geek_d18264

架构训练营

学习心得 - 架构训练营 - 第二课

Fm

《计算机网络》读后感

codists

Coffee 学架构 003:微信朋友圈的架构实战

咖啡

最终一致性和实时一致性是什么?在架构设计中,我们应该选择哪种方式?

我爱娃哈哈😍

架构设计 架构设计实战 最终一致性 实时一致性

中国、女性与自然的鸣奏曲

脑极体

架构实战营模块二

WolvesLeader

「架构实战营」

微信朋友圈的高性能复杂度

michael

#架构实战营

LeetCode刷题977-简单-有序数组的平方

ベ布小禅

9月日更

架构实战课程 模块二作业

Frank

大开眼界!数字人民币原来还有这些新玩法

CECBC

架构作业 - 模块二

Leo Zhao

架构训练营

极客时间-架构实战营2期-模块二作业

Dylan TANG

极客时间 第二周作业 极客时间架构师二期 架构实战营

架构实战营-模块二作业

南山先生

架构训练营

Vue进阶(九十二):应用 postMessage 实现窗口通信

No Silver Bullet

Vue 9月日更

10个步骤成为K8S云原生工程师

云原生

Kubernetes 云原生 K8S工程师

星环科技研发总监刘汪根:大数据3.0时代的星环之路_大数据_陈思_InfoQ精选文章