10 月,开发者不可错过的开源大数据大会-2021 WeDataSphere 社区大会深圳站 了解详情
写点什么

阿里云数据库峰会:发布首个一站式敏捷数据仓库解决方案,实现库仓一体数据分析能力

2021 年 9 月 28 日

阿里云数据库峰会:发布首个一站式敏捷数据仓库解决方案,实现库仓一体数据分析能力

9 月 26 日,以“数聚云端·智驭未来”为主题的阿里云数据库创新上云峰会在北京举行。阿里云数据库产品事业部负责人李飞飞、华东师范大学副校长周傲英等发表主题演讲,共议云原生数据库 2.0 的发展、机遇与挑战,以及一站式数据管理的最佳实践。会上,李飞飞表示阿里云将在今年的云栖大会上开源云原生分布式数据库 PolarDB-X,并发布 PolarDB 最新技术。此外,本次大会阿里云还发布首个一站式敏捷数据仓库解决方案。


据了解,该方案结合一站式数据管理平台 DMS 及云原生数据仓库 AnalyticDB(简称:ADB),实现了库仓一体的技术架构,提供在线数据实时入仓、T+1 周期性快照、按需建仓等能力,数据延时低至秒级,持续赋能业务在线化,令企业在线数据释放最大价值。


此外,通过低代码操作,阿里云一站式敏捷数据仓库解决方案大幅降低了实时数仓的构建难度和数据加工门槛,同时可支撑企业各类高频、动态化的实时分析场景和需求,帮助用户破解实时数仓建设难题,加速企业数字化转型。

阿里云发布一站式敏捷数据仓库解决方案


当前,随着企业数字化程度加深,如何通过数据提升生产力是企业不断探索的方向。作为数据集成、开发和服务的核心载体,数据仓库在其中发挥着关键作用。


传统数据仓库一般基于 T+1 数据集成构建离线数仓,以支撑企业各项分析与服务。传统方案不但会影响线上业务稳定性,且难以支持企业的实时需求,随着企业对于数据价值变现和应用的时效性要求越来越高,实时数仓应运而生。


传统实时数仓构建方案通常难以满足多源异构数据实时入仓的需求,同时数据处理链路较长,效率无法保证。阿里云一站式敏捷数据仓库解决方案基于阿里集团多年实时数仓建设经验,结合一站式数据管理平台 DMS 及云原生数据仓库 ADB,支持业务数据实时入仓+增删改查、基于拉链表的 T+1 周期性快照等功能,充分满足企业应用场景对生产数据进行实时分析的需求,如:促销大屏、监控报表、精准营销、交互式运营分析等。


相较于传统方案,阿里云一站式敏捷数据仓库解决方案有以下 4 大核心优势:


  1. 对业务侧影响小,不会因为数据汇聚集中和实时加工影响业务侧正常运行,CPU、内存占用低于 5%。

  2. 事务顺序和数据准确性有保障,且处理链路短,支持在线数据实时处理落仓,效率更高。数据传输效率 100m/s,数据延时在 10 秒内。

  3. 支持复杂实时数据加工、计算逻辑。

  4. 低代码操作,能够大大降低实时数仓的构建难度,提升构建效率的同时,支撑企业数字化转型过程中的各类实时场景。



DMS 集成数据传输服务 DTS,可支持数十种数据源的存量数据+增量更新数据,实时同步到 ADB,确保实时数仓侧数据与生产端保持一致。此外,DTS 支持在实时数据入仓、数据集成过程中,对数据进行实时加工处理,帮助企业降本增效。


同时,传统数仓的周期性全量集成方案会对生产业务造成稳定性影响、全量集成时效性差、且无法满足客户针对任意时间点进行数据回溯的业务诉求。


针对 T+1 周期性集成场景,一站式敏捷数据仓库解决方案支持基于拉链表的 T+1 全量数据快照,用户通过简单几个步骤,即可按需生成各种周期的全量或增量快照。此外,业务还可按需进行任意时间点的数据回溯,以快速解决数据异常问题。


阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城


阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城表示:“一站式数据管理 DMS 的目标是帮助企业在线数据价值最大化,企业通过一站式数据管理 DMS+ADB 可快速构建实时数仓,实现库仓一体的技术架构。


相比传统方案,可有效解决多种在线数据资产化的难题,实现按需建仓、数据集中和敏捷开发。借助库仓一体的 DMS 数据传输与加工链路,大大缩短数据流 ETL 链路,降低维护成本,通过数据开发进行灵活的任务编排和产品化支持 T+1 场景,可降低数据加工门槛,快速发挥企业在线数据价值。”


阿里云研究员、数据库产品事业部OLAP产品部负责人占超群


阿里云研究员、数据库产品事业部 OLAP 产品部负责人占超群表示:“云原生数据仓库 AnalyticDB 以云原生、数据库与大数据一体化为核心,支持一份数据多计算场景、全链路数据实时化等特点,支持结构化和非结构化数据融合分析,可实现超大规模实时增删改查、高并发低延时的按需低成本复杂分析,助力业务实现敏捷、实时、智能的数字化创新。


阿里云一站式敏捷数据仓库解决方案,结合一站式数据管理 DMS+ADB 为企业提供了敏捷的数据入仓、ETL 管理、任务编排、资产管理等能力,将企业数据资产价值最大化,未来我们还将推出更多企业级的能力,欢迎大家关注。”

数据库的未来:云原生+分布式是标配


当前,我国数据库产业加速发展。中国信息通信研究院日前发布的《数据库发展研究报告(2021 年)》指出,当前新一轮科技革命迅猛发展,数据规模爆炸性增长,数据类型愈发丰富,数据应用快速深化。全球创新型数据库产品快速涌现,市场格局剧烈变革,我国数据库产业进入重大发展机遇期。


至于未来的数据库发展将呈现哪些趋势,李飞飞在会后接受采访时表示,“未来的数据库,云原生+分布式一定是标配,用云原生的方式构建数据库系统,同时,分布式已经不是选项,而是必然。”


其次,未来的数据库还将朝着更加智能化的方向发展,AI for DB,通过机器学习将数据库运维管控智能化,这一点在云原生+分布式的前提下更加重要;DB for AI,需要具备面对越来越多非结构化数据的分析能力。


第三,需要具备安全性,确保数据库系统在处理数据全链路过程中提供加密能力、多方安全计算能力以及隐私保护能力。


第四,支持多模数据处理,一些信息场景对新型数据库多模态的处理 AIoT 场景非常重要。


第五,具备一站式在线数据处理平台,数据之间实现打通,用户只需管理一份数据。

2021 年 9 月 28 日 16:212017

评论

发布
暂无评论
发现更多内容

网页端IM通信技术快速入门:短轮询、长轮询、SSE、WebSocket

JackJiang

websocket 消息推送 即时通讯 IM

最详细的 Python 结合 RFM 模型实现用户分层实操案例!

JackTian

Python 编程 程序员 数据分析 RFM模型

iOS 面试策略之系统框架-设计模式

iOSer

ios 并发编程 tableView

一颗CPU与病魔赛跑

新闻科技资讯

智能量化网格策略交易机器人,马丁倍投机器人

13823153121

dubbo的前世今生

捉虫大师

dubbo

书单 | 职场办公类私藏好书,轻松Get职场必备技能

博文视点Broadview

Java程序员想要拿到50W以上年薪,哪个技术是必备的?

Java架构师迁哥

千万级学生管理系统考试试卷存储方案

chenmin

Mybatis-Plus的应用场景及注入SQL原理分析

vivo互联网技术

源码分析 mybatis

软硬件融合新时代——让软件够灵活,硬件够高效,鱼和熊掌可兼得

博文视点Broadview

打破固有思维(十八)

Changing Lin

5月日更

Hive对分区分桶表的操作

五分钟学大数据

大数据 hive 5月日更

聊聊业务数据分析那些事儿

小飞象@木木自由

数据分析 业务场景分析 业务数据分析 业务分析

霸榜各大搜索引擎!原来是某知名大佬最新上线的高并发编程手册

互联网架构师小马

Java 面试 并发编程 高并发

麦肯锡最新报告 | 开发者速率成为企业增长助推剂

LigaAI

SaaS

ASP.NET Core整合Zipkin链路跟踪

yi念之间

Leveldb解析之五:理解leveldb的持久化和MVCC实现机制

Jowin

leveldb

联邦学习在视觉领域的应用,揭秘AI人工智能创新应用奖获奖案例

博文视点Broadview

毕业设计So Easy:基于Java语言西餐厅点餐系统

不脱发的程序猿

Java 开源 Java语言西餐厅点餐系统 毕业设计

架构是什么?空中楼阁?不切实际?

Java架构师迁哥

如何快速构建嵌入式全栈知识体系?

博文视点Broadview

IDC数据中心介绍

大数据技术指南

数据中心 5月日更

低代码核心优势是:降本增效+多系统集成,这真的对吗?

优秀

低代码

强化学习落地:竞态场景下基于锁机制的闲置端口查用

行者AI

强化学习

李开复、张亚勤、吴恩达…国际大咖给你讲解AI知识

博文视点Broadview

阿里的互联网三高架构是真的牛!腾讯百度根本模仿不来

Java架构师迁哥

面试37次,16个offer上岸,总结了一些面试心得

北游学Java

面试 offer

LeetCode真题解析!字节技术亲码13W字算法刷题宝典太香了!(附源码+视频解析)

程序员小毕

Java 程序员 架构 面试 算法

云小课 | 华为云KYON之L2CG

华为云开发者社区

虚拟私有云 华为云 大二层网络 KYON企业级云网络 L2CG

当当购书优惠码又可以限时抢啦(热卖新书等你来)

博文视点Broadview

阿里云数据库峰会:发布首个一站式敏捷数据仓库解决方案,实现库仓一体数据分析能力-InfoQ