“All in Cloud”之后,和你聊聊「云原生DevOps的Kubernetes技巧」 了解详情
写点什么

阿里云数据库峰会:发布首个一站式敏捷数据仓库解决方案,实现库仓一体数据分析能力

  • 2021 年 9 月 28 日
  • 本文字数:2215 字

    阅读完需:约 7 分钟

阿里云数据库峰会:发布首个一站式敏捷数据仓库解决方案,实现库仓一体数据分析能力

9 月 26 日,以“数聚云端·智驭未来”为主题的阿里云数据库创新上云峰会在北京举行。阿里云数据库产品事业部负责人李飞飞、华东师范大学副校长周傲英等发表主题演讲,共议云原生数据库 2.0 的发展、机遇与挑战,以及一站式数据管理的最佳实践。会上,李飞飞表示阿里云将在今年的云栖大会上开源云原生分布式数据库 PolarDB-X,并发布 PolarDB 最新技术。此外,本次大会阿里云还发布首个一站式敏捷数据仓库解决方案。


据了解,该方案结合一站式数据管理平台 DMS 及云原生数据仓库 AnalyticDB(简称:ADB),实现了库仓一体的技术架构,提供在线数据实时入仓、T+1 周期性快照、按需建仓等能力,数据延时低至秒级,持续赋能业务在线化,令企业在线数据释放最大价值。


此外,通过低代码操作,阿里云一站式敏捷数据仓库解决方案大幅降低了实时数仓的构建难度和数据加工门槛,同时可支撑企业各类高频、动态化的实时分析场景和需求,帮助用户破解实时数仓建设难题,加速企业数字化转型。

阿里云发布一站式敏捷数据仓库解决方案


当前,随着企业数字化程度加深,如何通过数据提升生产力是企业不断探索的方向。作为数据集成、开发和服务的核心载体,数据仓库在其中发挥着关键作用。


传统数据仓库一般基于 T+1 数据集成构建离线数仓,以支撑企业各项分析与服务。传统方案不但会影响线上业务稳定性,且难以支持企业的实时需求,随着企业对于数据价值变现和应用的时效性要求越来越高,实时数仓应运而生。


传统实时数仓构建方案通常难以满足多源异构数据实时入仓的需求,同时数据处理链路较长,效率无法保证。阿里云一站式敏捷数据仓库解决方案基于阿里集团多年实时数仓建设经验,结合一站式数据管理平台 DMS 及云原生数据仓库 ADB,支持业务数据实时入仓+增删改查、基于拉链表的 T+1 周期性快照等功能,充分满足企业应用场景对生产数据进行实时分析的需求,如:促销大屏、监控报表、精准营销、交互式运营分析等。


相较于传统方案,阿里云一站式敏捷数据仓库解决方案有以下 4 大核心优势:


  1. 对业务侧影响小,不会因为数据汇聚集中和实时加工影响业务侧正常运行,CPU、内存占用低于 5%。

  2. 事务顺序和数据准确性有保障,且处理链路短,支持在线数据实时处理落仓,效率更高。数据传输效率 100m/s,数据延时在 10 秒内。

  3. 支持复杂实时数据加工、计算逻辑。

  4. 低代码操作,能够大大降低实时数仓的构建难度,提升构建效率的同时,支撑企业数字化转型过程中的各类实时场景。



DMS 集成数据传输服务 DTS,可支持数十种数据源的存量数据+增量更新数据,实时同步到 ADB,确保实时数仓侧数据与生产端保持一致。此外,DTS 支持在实时数据入仓、数据集成过程中,对数据进行实时加工处理,帮助企业降本增效。


同时,传统数仓的周期性全量集成方案会对生产业务造成稳定性影响、全量集成时效性差、且无法满足客户针对任意时间点进行数据回溯的业务诉求。


针对 T+1 周期性集成场景,一站式敏捷数据仓库解决方案支持基于拉链表的 T+1 全量数据快照,用户通过简单几个步骤,即可按需生成各种周期的全量或增量快照。此外,业务还可按需进行任意时间点的数据回溯,以快速解决数据异常问题。


阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城


阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城表示:“一站式数据管理 DMS 的目标是帮助企业在线数据价值最大化,企业通过一站式数据管理 DMS+ADB 可快速构建实时数仓,实现库仓一体的技术架构。


相比传统方案,可有效解决多种在线数据资产化的难题,实现按需建仓、数据集中和敏捷开发。借助库仓一体的 DMS 数据传输与加工链路,大大缩短数据流 ETL 链路,降低维护成本,通过数据开发进行灵活的任务编排和产品化支持 T+1 场景,可降低数据加工门槛,快速发挥企业在线数据价值。”


阿里云研究员、数据库产品事业部OLAP产品部负责人占超群


阿里云研究员、数据库产品事业部 OLAP 产品部负责人占超群表示:“云原生数据仓库 AnalyticDB 以云原生、数据库与大数据一体化为核心,支持一份数据多计算场景、全链路数据实时化等特点,支持结构化和非结构化数据融合分析,可实现超大规模实时增删改查、高并发低延时的按需低成本复杂分析,助力业务实现敏捷、实时、智能的数字化创新。


阿里云一站式敏捷数据仓库解决方案,结合一站式数据管理 DMS+ADB 为企业提供了敏捷的数据入仓、ETL 管理、任务编排、资产管理等能力,将企业数据资产价值最大化,未来我们还将推出更多企业级的能力,欢迎大家关注。”

数据库的未来:云原生+分布式是标配


当前,我国数据库产业加速发展。中国信息通信研究院日前发布的《数据库发展研究报告(2021 年)》指出,当前新一轮科技革命迅猛发展,数据规模爆炸性增长,数据类型愈发丰富,数据应用快速深化。全球创新型数据库产品快速涌现,市场格局剧烈变革,我国数据库产业进入重大发展机遇期。


至于未来的数据库发展将呈现哪些趋势,李飞飞在会后接受采访时表示,“未来的数据库,云原生+分布式一定是标配,用云原生的方式构建数据库系统,同时,分布式已经不是选项,而是必然。”


其次,未来的数据库还将朝着更加智能化的方向发展,AI for DB,通过机器学习将数据库运维管控智能化,这一点在云原生+分布式的前提下更加重要;DB for AI,需要具备面对越来越多非结构化数据的分析能力。


第三,需要具备安全性,确保数据库系统在处理数据全链路过程中提供加密能力、多方安全计算能力以及隐私保护能力。


第四,支持多模数据处理,一些信息场景对新型数据库多模态的处理 AIoT 场景非常重要。


第五,具备一站式在线数据处理平台,数据之间实现打通,用户只需管理一份数据。

2021 年 9 月 28 日 16:212238

评论

发布
暂无评论
发现更多内容

精细运营|营销获客自动化‘攻心’

海比研究院

CRM

打破 Serverless 落地边界,阿里云 SAE 发布 5 大新特性

阿里巴巴云原生

阿里云 Serverless 云原生 Serverless Kubernetes

资讯|WebRTC M94 更新

网易云信

大前端 chrom

浪潮云说丨构建全域业务联动枢纽,挖掘数据要素创新价值

浪潮云

云计算

这才是责任链模式的优雅使用方式

Tom弹架构

Java 架构 设计模式

如何在新消费时代提升开店数量和营业额

石云升

学习笔记 10月日更

架构训练营模块1作业

Puciu

架构实战营

你正在选择实时互动云服务?以下是关于安全合规的七个建议

声网

人工智能 数据安全

微信朋友圈高性能复杂度分析

deng

架构实战营

区块链专利正从量向质转变 智慧金融、医疗健康和能源三领域质量最高

CECBC

网络安全之渗透实战学习

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 安全漏洞

架构实战营 - 第三期 - 模块一作业

lucian

架构实战营

产学互为表里,携手方见大道:华为云AI院长峰会的价值思考

脑极体

无人驾驶与环卫革命

脑极体

工信部等三部委:推进区块链等新一代信息技术在养老场景集成应用

CECBC

使用 Spring Boot 和 @WebMvcTest 测试 MVC Web Controller

信码由缰

Java Spring Boot test

自定义ViewGroup的触摸反馈

Changing Lin

10月日更

模块一作业

hpl

借助人工智能、区块链 传统农业告别“靠天吃饭”

CECBC

微信业务架构图

罗赟

「架构实战营」

空调可视化运营中心,赋能精细化运营管理

森友小锘

官方线索 | 1024新华三服务器性能调优挑战赛

穿过生命散发芬芳

1024我在现场

通过题目来讲一讲指令系统相关知识 1 | 计算机组成与系统结构专题

Regan Yue

计算机组成原理 10月日更

微信业务+学生毕设架构设计

慧慧Alina酱

模块2

Asha

模块2总结

Asha

架构实战营

打破数据壁垒,北鲲云超算混合云模式激活人工智能数据价值

北鲲云

学生管理系统架构和微信业务架构

Geek_nlp小咖

微信 架构 微信业务架构 学生管理系统架构

优酷鸿蒙开发实践|多屏互动开发实践

阿里巴巴移动技术

ios android 鸿蒙 优酷 客户端

阿里云数据库峰会:发布首个一站式敏捷数据仓库解决方案,实现库仓一体数据分析能力_数据库_凌敏_InfoQ精选文章