DataWorks 新品发布:阿里云一站式全链路数据开发与治理平台

  • 2021-10-19
  • 本文字数:1130 字

    阅读完需:约 4 分钟

10 月 19 日,在 2021 杭州云栖大会全链路数据治理峰会上,阿里巴巴集团副总裁、阿里云智能计算平台事业部负责人贾扬清发表了《从数据要素到数据生产力—全链路数据治理的智能演进》主题演讲,同时阿里云智能高级产品专家黄博远发布了 DataWorks 新品—阿里云一站式全链路数据开发与治理平台

 

贾扬清在演讲中分享了阿里巴巴对数据平台的探索过程,从积木型工具组件到一站式数据开发再到目前的全链路数据治理,从小作坊到大平台到敏捷制造,可以说是让数据从低效向高质高效流动。“在大平台基础上,我们会看到各种数据质量问题,因此今天在关注平台的时候,我们会更加关注敏捷制造的概念。”数据的敏捷制造,能让数据要素释放更大的生产力。

 

怎样让数据质量、开发质量、数据利用率能够做得更好?在构建数据治理的方法论上,贾扬清也针对全链路数据治理提出三个方向

 

  • 组织主动性

  • 平台智能化

  • 业务可用性

 

对于贾扬清提到的全链路数据治理黄博远也在会上发布了 DataWorks 新品——阿里云一站式全链路数据开发与治理平台

 

诞生于 2009 年阿里巴巴集团内部的 DataWorks,不仅见证了阿里巴巴十多年大数据几次蜕变发展,更是阿里巴巴数据中台建设的最佳实践之一。如今 DataWorks 平台可以支撑阿里巴巴内部上百个业务团队的数据业务建设,每天稳定调度上千万数据处理任务。阿里巴巴每天有超过 5 万名员工在 DataWorks 上完成数据分析、数据开发和数据治理工作。那么,本次 DataWorks 新品又有什么亮点呢?会上,黄博远主要为大家介绍了七点:

 

  • 开放平台

  • 开放接口

  • 开放消息

  • 扩展点

  • 扩展程序

 

  • 数据建模

  • 正向逆向可视化建模

  • Excel 导入模型

  • DSL 脚本建模

  • 批量快速生成指标

  • 数据标准落标检测

 

  • 数据治理中心

  • 全新数据治理中心门户

  • 数仓问题主动发现机制

  • 数据治理健康度评估模型

 

  • 智能数据查询

  • 基于自然语言的数据查询

 

  • 隐私安全计算能力

  • 大规模分布式安全计算框架

  • 内置丰富算法,多种安全计算技术

 

  • 作业迁移工具与迁云专家服务

  • Airflow/Oozie/Azkaban等开源引擎作业迁移至 DataWorks

  • DataWorks 作业跨账号、跨地域、跨云迁移

  • 大数据迁云专家服务

 

  • 数据集成

  • 全增量一体化实时同步

  • 分库分表实时同步

  • 大规模分布式实时同步

 

目前 DataWorks 新品——阿里云一站式全链路数据开发与治理平台已经在北京、上海、杭州、深圳、张家口、成都以及新加坡开启公测,感兴趣的开发者可以进行试用。除重磅发布 DataWorks 新品外,本次全链路数据治理峰会上,还有宝信软件大数据中心大数据建设运营服务中心主任方亮《数据是怎么炼成的—宝武大数据建设实践》、阿里云智能高级技术专家王磊《数据生产智能—元数据驱动的全链路数据治理最佳实践》以及盒马数据中台负责人李启平《不忘初心,方得始终—盒马数据中台之道》等多个主题演讲,对相关主题感兴趣或关注 2021 云栖大会的同学,可点击观看线上直播