写点什么

围绕 Apache Kylin 核心技术构建数据分析生态,这个大会有哪些新趋势值得关注?

  • 2019-07-13
  • 本文字数:3282 字

    阅读完需:约 11 分钟

围绕Apache Kylin核心技术构建数据分析生态,这个大会有哪些新趋势值得关注?

2019 年 7 月 12 日,国内首届以 Apache Kylin 为主题的大数据领域的前沿盛会 Kylin Data Summit 在上海落幕。Kylin 自 2015 年 11 月毕业成为 Apache 软件基金会 Top-Level 项目后,Apache Kylin 已经成为全球领先的开源大数据 OLAP 引擎,迄今在全球已超过 1000 家企业使用。2016 年,以 Apache Kylin 核心团队组建的 Kyligence 在中国成立,迄今为止为推动国内企业的智能数仓转型、数据分析领域做出了众多贡献。

这场大会,可以说是 Kyligence 对于国内市场理解后的一份成绩单。接下来的时间里,Kyligence 能否用其新发布的功能产品来引领国内这样一股数据为本、数据为先的数据分析潮流呢?

回归以数据为本的创新

当下,国内传统企业已经进入到了数字化转型的关键阶段,以金融、银行为代表的国内传统企业,正面临着业务渠道急需拓宽、用户体量飞速增长与传统技术架构之间的矛盾。


在企业数字化转型的关键阶段,如何回归到以数据为本的创新中来?面对经济、互联网发展的新阶段,大数据分析领域,又面临着怎样的十字路口?2019 年 7 月 12 日,国内大数据分析领域的前沿技术大会 Kylin Data Summit 落幕。在本次大会上,这些问题一一得到了揭晓。

让用户具有直接获取数据洞察的能力

构建完整数据分析能力体系

一个来自中国的开源技术,在全球范围内有这样的影响,让来自中国的技术力量在全球范围内都有持续不断的技术影响,这是 Apache Kylin 乃至 Kyligence 一直以来努力的方向。


Kylin 虽好,但想要用好,往往需要非常高的门槛,对没有技术基础的人员来说挑战非常大。现在,一些来自于 AI 的技术正在让应用场景的门槛越来越低。这也引申出了当下大数据领域的主要矛盾,即数据增长的数据及应用需求与极其短缺的产业工人之间的矛盾。


在这些矛盾中,Kyligence 只是所有行业数据分析中的缩影,在此次大会上,Kyligence CEO 韩卿打出了一套完整的数据分析组合拳。


本次发布的新一代产品 Kyligence Enterprise v4.0,进一步通过机器学习能力提供增强分析,大大简化了大数据分析的门槛,有效提升了数据分析的效率。其包括以下特性:


  1. 增强学习,自动建模:通过内置的无监督算法推荐并优化数据模型,可以轻松适应业务需求的变化

  2. 省心运维,化繁为简:系统可以通过自动化运维来完成日常运维工作,并且可以无缝对接各类主流 BI(商务智能)产品

  3. 灵活架构,轻松扩展:从 Hadoop 过渡到 Spark,基于 Apache Spark 的查询和任务引擎,针对于计算场景的深度优化,平军查询性能 10 倍于 Spark SQL 查询引擎。


这样一组数据可以看出新一代 Kyligence Enterprise 的性能:30 分钟自动建模,95%推荐成功率,降低 60%的数据加载时间,3 千亿的数据规模每天只需 300 美元,1 个 Cube 拥有 1200+纬度,不到 1 小时加载 80 亿数据等等。


同时,其它发布的两款产品为:Kyligence Insight1.0——业务自助式数据服务,核心是集中在语义层,语义层是做数据治理和数据中台的基石;Kyligence Cloud3.0——一站式云端大数据分析,相较于上一代产品,做到分钟级别的测试能力。


从开源 Apache Kylin 开始,到增强分析版大数据分析平台,到 BI 到云端,再到现在构建了完整的数据生态分析能力,对于企业而言,数据分析正在越来越简单。通过围绕 Apache Kylin 的核心技术,构建这样一个数据分析生态,将会推动工程师、分析师以及管理人员更好地、更轻松地应用数据分析来为企业决策做决定。


同时,Kyligence 的产品更新不只限于功能上的更新,更重要的是沉淀方法论,通过已沉淀的数据分析方法论,来释放行业大数据的生产力。

为企业屏蔽底层技术障碍

前段时间 Hadoop 领域三大商业公司在运营商纷纷出现状况,大家也纷纷对 Hadoop 的前景感到担忧,并且 Apache Kylin 与 Hadoop 的关系紧密,未来在技术上应该何去何从,带着这些问题,Kyligence CEO 韩卿接受了 InfoQ 记者的采访。


韩卿提到,Hadoop 作为一款已经被社区验证过的超大规模数据处理的企业级通用平台,不会因为其中商业公司的运营情况而遭到技术层面的否定。同时,对于 Apache Kylin 来说,新一代 Kyligence Enterprise 选择将数据分析能力转移到 Spark 上,只是为了给企业用户更多的选择,并不是因为 Hadoop 最近的风波;另一方面,企业应用 Kyligence 来做大数据分析,Kyligence 要做的就是为这些企业用户屏蔽掉因为底层技术变更所带来的技术问题,这也是开源项目与商业项目的最大不同之一,降低数据分析使用门槛,让更多用户能够具备数据分析的能力。

数据本源筑造银行转型创新根源

同样,提起大数据,怎能少得了用户体量以及数据分析需求量最大的银行呢?在当天 Keynote 主论坛上,建信金融科技架构团队技术总监朱志就银行大数据的过去、现在与未来的演变趋势进行了深度阐述。


一方面,技术发展驱动着企业级大数据平台的逻辑演进。另一方面,在银行业,技术的发展也代表着银行业当下的窘境。当前银行在技术上过分依赖外包,因此无论现在市面上是 Hadoop、Spark 还是 Flink 占据主流,外包还是只会写 SQL。


银行业的未来在于线上,现在银行业务逐步线上化,这也就代表未来很多数据会集中在金融科技公司手上。银行虽然逐渐将业务重心集中在线上,但是其根本的存、贷、汇的逻辑并没有改变。银行业未来一定是虚拟化的,未来三年,银行大数据平台有以下三点机会:


  • 机会一,数据访问 API 化(打通内部之间不同的技术);

  • 机会二,降维打击 SQL(操作不同种类的语言技术替代 SQL);

  • 机会三,应用 AI 技术治理数据。


数据正在使今天的不可能变成明天的可能,就像比尔盖茨曾经说过的一句话:我们现在需要银行业,但不再需要银行。


此外韩卿也提到,虽然是从 Apache Kylin 中孵化出来的商业项目,但是 Kyligence 并没有忘记社区,只是扮演了更加重要的指导者角色。一方面内部有专门的团队在积极和社区合作完善 Apache Kylin 的开源;另一方面,Kyligence 只是更多关注在降低使用门槛以及提升应用效率层面,Kyligence 依然在影响和驱动社区的发展。

Augmented Analytics,未来数据分析的趋势

万事开头难,任何一项新技术以及趋势被放到大家眼前的时候,都是这项技术包括趋势最受到考验的时候。本次大会主论坛中,来自于 Gartner 的研究总监 Julian Sun,集中于『智能、新兴、扩展』三部分,现场分享了数据与分析领域的顶尖趋势。


这里为大家总结了 Julian Sun 现场讲解的几个趋势点,这些预测的趋势,主要集中于未来 3-5 的范围,帮助企业更快进行技术的实验和实施,这些预测趋势分别为:


  • 2020 年,增强分析将成为企业新采购分析及商业智能、数据科学和机器学习平台和嵌入式分析的主要驱动因素。

  • 2020 年,50%的分析查询将通过搜索、自然语言处理或语音生成,或自动生成。

  • 2022 年,商用人工智能、机器学习会取代开源占据市场主流,其中为用户提供的人工智能而机器学习技术的新解决方案中,75%将通过收费的商用平台(而非免费的开源平台)构建。

  • 2022 年,由于机器学习和自动化服务的加入,数据管理领域的人工任务量将减少 45%,技术领域需求减少 20%,减少的这些任务量是在帮助而不是取代,让工作更简单更灵活,


关于未来数据分析的趋势及前景,Julian Sun 解释道:对增强分析(Augmented Analytics)和增强数据管理(Augmented Data Management)来说,通过借助机器学习和 AI 能力,其目的是让数据分析真正普惠所有用户,而不是让数据分析只停留在企业中的少部分人


最后,Julian Sun 提到,开源技术门槛过高,商用平台可以用更低的门槛让更多企业和使用者来使用,模型将会成为一种商品的形式,而不需要去训练。增强数据管理,不是为了取代工作,而是为了让工作更创新,让决策者更应该主动看到业务的痛点和欠缺的部分,员工数据素养的提高,才能将数据价值应用到极致。

大数据的增强分析时代,已然到来

从 Gartner 的分析报告中就可以看出,未来数据分析领域将会成长为企业业务发展的重要决策手段。对大数据的定义正在重新发生,在当下这种需要快速决策的时代,大数据分析将承担更多的业务责任,数据分析也已不再是财务报表上锦上添花的内容。数据分析的未来,就像 Kyligence CEO 韩卿在大会当天引用《经济学人》文章的一句话一样:未来世界最具价值的不是石油,而是数据。


2019-07-13 10:2716546
用户头像
佘磊 策划编辑

发布了 50 篇内容, 共 22.3 次阅读, 收获喜欢 76 次。

关注

评论

发布
暂无评论
发现更多内容

国家高新技术企业是国企吗?获得高新企业证书有什么用?

行云管家

高新企业 高新技术

物联网数据应用开发最佳实践——数据价值类

阿里云AIoT

数据挖掘 物联网 存储 数据管理 调度

【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制(Paxos篇)

码界西柚

分布式 PAXOS paxos协议 算法分析

基于 Apache Flink 的实时计算数据流业务引擎在京东零售的实践和落地

Apache Flink

大数据 flink 实时计算

NFTScan 与 UniPass 达成合作伙伴,双方在多链 NFT 数据方面展开合作!

NFT Research

NFT

技术详解 阿里云AIoT物模型支撑设备规模已超亿级——设备管理运维类

阿里云AIoT

运维 安全 监控 物联网 芯片

基于声网 Flutter SDK 实现互动直播

声网

flutter

Matlab常用图像处理命令108例(八)

timerring

图像处理

Macbook技巧,Type-c接口失灵怎么办

互联网搬砖工作者

什么是安全文件传输

镭速

火山引擎DataLeap:数据秒级生产,揭秘电商实时数仓最佳实践!

字节跳动数据平台

数据治理 电商 数据研发 企业号 3 月 PK 榜

【3.10-3.17】写作社区优秀技术博文一览

InfoQ写作社区官方

热门活动 优质创作周报

8年Java架构师面试官教你正确的面试姿势,10W字面试题搞定春招!

小小怪下士

Java 程序员 后端 java面试

浪潮inBuilder低代码平台社区版来了!

inBuilder低代码平台

开源 低代码 企业级低代码平台

GuavaCache与物模型大对象引起的内存暴涨分析——设备管理运维类

阿里云AIoT

缓存 算法 监控 物联网 数据格式

共享订阅--MQTT 5.0新特性

EMQ映云科技

物联网 IoT mqtt 企业号 3 月 PK 榜 共享订阅

专场直播预约 | KaiwuDB 离散制造业场景解决方案

KaiwuDB

数据库 KaiwuDB 离线制造业 行业解决发展

pytest学习和使用2-初步使用和用例运行

Python 自动化测试 pytest

1个案例读懂——游戏产品如何用A/B测试做增长

字节跳动数据平台

云服务 AB testing实战 A/B测试 企业号 3 月 PK 榜

大资管行业数字化转型解决方案 | 行业方案

袋鼠云数栈

大数据 数字化转型 解决方案

解决运行VMWare虚拟机报错“打不开 /dev/vmmon:断裂管道”

互联网搬砖工作者

Tapdata Connector 实用指南:云原生数仓场景之数据实时同步到 Databend

tapdata

数据库 大数据

武汉等保测评有限公司有哪几家?具体位于哪里?

行云管家

等保 等保测评 等保2.0 武汉

温湿度计设备通过阿里云IoT物联网套件上报数据到钉钉群机器人实践——数据价值类

阿里云AIoT

JavaScript Serverless 物联网 机器人 机器学习/深度学习

阿里120W年薪架构师力荐750页微服务架构深度解析笔记

程序知音

Java 微服务 编程语言 后端技术

有效载荷标识与内容类型--MQTT 5.0新特性

EMQ映云科技

物联网 IoT mqtt 企业号 3 月 PK 榜 有效载荷标识

阿里云AIoT物联网平台如何实现设备全球就近接入——设备接入类

阿里云AIoT

运维 监控 物联网 中间件 数据采集

PS 2023版本 24.2有哪些新功能?增加了哪些相机配置?

Rose

ps ps 2023 Photoshop 2023下载

浅谈DWS函数出参方式

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 3 月 PK 榜

全能代码编辑器:CodeRunner 最新激活版

真大的脸盆

Mac 代码编辑器 Mac 软件 代码编辑 编辑代码

实战|网站监控如何做好监测点管理与内网数据采集

云智慧AIOps社区

安全 监控 监控宝 云智慧 网站监控

围绕Apache Kylin核心技术构建数据分析生态,这个大会有哪些新趋势值得关注?_文化 & 方法_佘磊_InfoQ精选文章