写点什么

数据网格平台如何连接数据生产者和消费者

  • 2024-07-11
    北京
  • 本文字数:1347 字

    阅读完需:约 4 分钟

大小:658.17K时长:03:44
数据网格平台如何连接数据生产者和消费者

公司在利用数据仓库或数据湖中的数据时经常会面临的一个挑战,那就是分析数据的所有权很弱或根本不存在,因此质量可能会受到影响。数据网格是公司如何从数据中创造价值的组织范式转变,责任又重新回到了生产者和消费者手中。

 

Matthias Patzak 在法国FlowCon大会上发表了关于数据网格平台的演讲。

 

正如 Patzak 所解释的那样,当公司想要利用数据并实现数据驱动时,他们面临的最大挑战之一就是他们所收集的数据的质量:

 

你听过“数据就是新石油”这句话吗?在 21 世纪末,人们认为所有的数据都应该被存储,因为它是一种宝贵的资源。但是,当你不知道是谁存储了什么数据以及为什么存储时,谁会信任一个 5 年前的 S3 存储桶呢?

 

Patzak 认为数据更像是葡萄酒。他说,有些数据就像是葡萄酒一样,必须迅速消耗掉,否则就会变质。其他数据,如果存储和处理得当,可以很好地保存,甚至随着时间的推移,其价值和质量也会提高。

 

Patzak 提到,根本问题是分析数据的所有权往往很弱或根本不存在,因此质量可能会受到影响。分析数据由事务系统生成的。然而,Patzak 说,了解并拥有这些系统和底层流程的人不负责对其数据进行分析的应用程序。它通常被提取、转换、加载到数据仓库或数据湖中,并由中心化的、高度专业化的部门使用。他补充道,这些专家通常也没有真正的主人翁意识。

 

Patzak 说到,数据网格是一种分布式数据基础设施,它将使用数据并从数据中创造价值的责任重新交到数据的生产者和消费者手中。它消除了专门的数据组织作为在生产者和消费者之间通信的的代理和瓶颈。这种分布式数据基础设施的核心是数据产品,它们本身就可以创造切实的商业价值。

 

要构建一个数据网格,你需要创建一个面向领域的架构,在该架构中,每个业务单元都将其数据作为一种产品进行管理,使用自助服务基础设施和工具进行编排、共享和治理,正如 Patzak 所解释的那样:

 

这种自助服务基础设施由数据网格平台构建,包括云服务、数据编排工具和 CI/CD 管道,并由用于安全和质量的联邦治理策略以及用于监控的可观测性系统来支持。

 

Patzak 提到,访问由强大的安全机制控制,整个数据基础设施是自动化的,并通过“基础设施即代码”实践进行维护。他补充道,至关重要的是,通过平台团队提供的有针对性的支持和培训计划,领域团队具备了必要的技能,确保技术设置促进了自主、质量和协作的文化。

 

Patzak 总结道,数据网格的好处是实施时间更快,生产者和消费者的认知负荷更少,为公司提供了一致的工具和标准。

 

InfoQ 就创建数据网格平台一事采访了Matthias Patzak

 

InfoQ:创建数据网格平台需要什么?平台能带来什么好处?

 

Matthias Patzak:从技术角度来看,一切都可以用来构建数据网格平台的核心服务。这只是一项繁重的工作。与任何平台一样,挑战在于确保平台服务被用户接受和使用。这是通过让平台用户优先处理平台积压的工作,并通过轮岗的方式让用户团队的开发人员参与平台服务的开发来实现的。

 

InfoQ:对于那些希望使用数据网格来利用数据的组织来说,你有什么建议嘛?

 

Patzak:不要大费周章!从一个特定的用例开始,将开放的生产者和消费者配对,并利用数据网格的去中心化方法。甚至在你准备好之前就开始,并通过开始来做好准备。最后,与特定的用例并行开发平台。

 

原文链接:

https://www.infoq.com/news/2024/06/data-mesh-platforms/

2024-07-11 08:007181

评论

发布
暂无评论
发现更多内容

Promise规范与原理解析

京东科技开发者

通过阿里云 Milvus 与 PAI 搭建高效的检索增强对话系统

阿里云大数据AI技术

大数据 阿里云 向量检索 Milvus PAI

人才招聘系统哪个好?分享国内企业爱用的8款招聘系统

易成研发中心

征程 6 云端 Ota 升级方案设计与实现

地平线开发者

自动驾驶 算法 地平线征程5

ByConity :深入探讨ELT和bsp 模式应用实例

RoSofteg

ByConity

京东云与中兴新支点国产操作系统完成产品兼容性互认证

京东科技开发者

运营商的网络运营成本管理

鲸品堂

网络 电信运营商 企业号 2024年12月PK榜

李飞飞团队多模态模型统一动作与语言;OpenAI 推出电话服务,让更多人与 Chatgpt 对话丨 RTE 开发者日报

声网

AutoMQ 流表一体新特性 Table Topic 发布: 无缝集成 AWS S3 Table 和 Iceberg

AutoMQ

kafka iceberg 3S reinvent

如何实现一个充满科技感的官网(一)

极限实验室

React three.js next.js web 开发

2025全球计算大会:集齐计算产业 “王牌”,见证全球计算联盟正式启航

新消费日报

毕节正规等保测评机构有吗?在哪里?

行云管家

等保 堡垒机 网龄安全 毕节

Vue3设计思想及响应式源码剖析

京东科技开发者

亿方云企业网盘功能解析:与10款主流网盘比较优劣

易成研发中心

uniapp 极速上手鸿蒙开发

万少

uni-app 鸿蒙

跨越平台界限:探索Native AOT的交叉编译技术

代码忍者

Calcite UDF 实战之 ShardingSphere 联邦查询适配 MySQL BIT_COUNT

端小强

ShardingSphere Calcite

零售行业三问答看这里!

行云管家

网络安全 零售 堡垒机 零售行业

【HarmonyOS NEXT】ArkTs 模块的导出和引入

冉冉同学

鸿蒙 HarmonyOS OpenHarmony HarmonyOS NEXT

RAG开发中,如何用Milvus 2.5 BM25算法实现混合搜索

Zilliz

Milvus rag 混合检索 BM25

AWS re:Invent 2024 — AI 基础设施架构

云物互联

亚马逊云科技 AI基础设施

2024年团队文档共享:盘点8款热门网盘

易成研发中心

手把手教你华为鸿蒙开发之第十三节

The Wang

影智科技唐沐:人形是累赘,具身智能并不缺少落地场景

Alter

人形机器人 具身智能

数据网格平台如何连接数据生产者和消费者_管理/文化_Ben Linders_InfoQ精选文章