数据网格平台如何连接数据生产者和消费者

公司在利用数据仓库或数据湖中的数据时经常会面临的一个挑战，那就是分析数据的所有权很弱或根本不存在，因此质量可能会受到影响。数据网格是公司如何从数据中创造价值的组织范式转变，责任又重新回到了生产者和消费者手中。

Matthias Patzak 在法国FlowCon大会上发表了关于数据网格平台的演讲。

正如 Patzak 所解释的那样，当公司想要利用数据并实现数据驱动时，他们面临的最大挑战之一就是他们所收集的数据的质量：

你听过“数据就是新石油”这句话吗？在 21 世纪末，人们认为所有的数据都应该被存储，因为它是一种宝贵的资源。但是，当你不知道是谁存储了什么数据以及为什么存储时，谁会信任一个 5 年前的 S3 存储桶呢？

Patzak 认为数据更像是葡萄酒。他说，有些数据就像是葡萄酒一样，必须迅速消耗掉，否则就会变质。其他数据，如果存储和处理得当，可以很好地保存，甚至随着时间的推移，其价值和质量也会提高。

Patzak 提到，根本问题是分析数据的所有权往往很弱或根本不存在，因此质量可能会受到影响。分析数据由事务系统生成的。然而，Patzak 说，了解并拥有这些系统和底层流程的人不负责对其数据进行分析的应用程序。它通常被提取、转换、加载到数据仓库或数据湖中，并由中心化的、高度专业化的部门使用。他补充道，这些专家通常也没有真正的主人翁意识。

Patzak 说到，数据网格是一种分布式数据基础设施，它将使用数据并从数据中创造价值的责任重新交到数据的生产者和消费者手中。它消除了专门的数据组织作为在生产者和消费者之间通信的的代理和瓶颈。这种分布式数据基础设施的核心是数据产品，它们本身就可以创造切实的商业价值。

要构建一个数据网格，你需要创建一个面向领域的架构，在该架构中，每个业务单元都将其数据作为一种产品进行管理，使用自助服务基础设施和工具进行编排、共享和治理，正如 Patzak 所解释的那样：

这种自助服务基础设施由数据网格平台构建，包括云服务、数据编排工具和 CI/CD 管道，并由用于安全和质量的联邦治理策略以及用于监控的可观测性系统来支持。

Patzak 提到，访问由强大的安全机制控制，整个数据基础设施是自动化的，并通过“基础设施即代码”实践进行维护。他补充道，至关重要的是，通过平台团队提供的有针对性的支持和培训计划，领域团队具备了必要的技能，确保技术设置促进了自主、质量和协作的文化。

Patzak 总结道，数据网格的好处是实施时间更快，生产者和消费者的认知负荷更少，为公司提供了一致的工具和标准。

InfoQ 就创建数据网格平台一事采访了Matthias Patzak。

InfoQ：创建数据网格平台需要什么？平台能带来什么好处？

Matthias Patzak：从技术角度来看，一切都可以用来构建数据网格平台的核心服务。这只是一项繁重的工作。与任何平台一样，挑战在于确保平台服务被用户接受和使用。这是通过让平台用户优先处理平台积压的工作，并通过轮岗的方式让用户团队的开发人员参与平台服务的开发来实现的。

InfoQ：对于那些希望使用数据网格来利用数据的组织来说，你有什么建议嘛？

Patzak：不要大费周章！从一个特定的用例开始，将开放的生产者和消费者配对，并利用数据网格的去中心化方法。甚至在你准备好之前就开始，并通过开始来做好准备。最后，与特定的用例并行开发平台。

原文链接：

https://www.infoq.com/news/2024/06/data-mesh-platforms/