“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

Data Artisans 发布支持 ACID 事务的流式处理框架 Streaming Ledger

  • 2018-09-17
  • 本文字数:1135 字

    阅读完需:约 4 分钟

data Artisans 宣布推出 Streaming Ledger ,它扩展了 Apache Flink,提供了跨表、键和事件流执行可序列化 ACID 事务的功能。这项正在申请专利的技术是 Flink 的专有附加技术,超越了当前一次只能在一个键上实现一致性的标准。

在发布 Streaming Ledger 之前,流式处理框架(如 Flink 和 Spark)只提供一次性语义,只能在单个键上实现一致性。然而,随着 data Artisans Streaming Ledger 的发布,Flink 现在允许跨越事件状态边界,同时仍然能够保证 ACID 事务。ACID 是事务系统关键组件的首字母缩写。

原子性:事务以原子方式应用所有更改,事务函数要么执行全部修改或不执行任何修改。

一致性:事务函数将表从一个一致状态带入另一个一致状态。

隔离:执行事务时,就好像当前事务是在表上运行的唯一事务。

持久性:事务所做的更改是持久的,永远不会丢失。

根据 ACID 原则实现的事务作为单个操作执行,要么全部完成要么全部失败。这确保了数据一致性,即使是发生了中断或应用程序错误。ACID 事务的一个常用例子是将资金从一个银行账户转移到另一个银行账户。虽然 Streaming Ledger 是流式处理框架中第一个实现 ACID 事务的,但 ACID 事务已经在 SQL Server 和 Oracle 等关系数据库系统中存在了很长时间。

来源:Data Artisans Streaming Ledger 白皮书

Artisans 公司由开源流式处理框架 Apache Flink 的原作者创建,提供了一个流式处理基础设施,其中包括数据 Artisans Platform,也称为 dA 平台。该平台由 Apache Flink、dA 应用程序管理器和 Streaming Ledger 组成。该公司专注于流式处理领域,WSO2 研究副总裁 Srinath Perera 将其描述为一种大数据技术,允许查询数据流并基于信息做出决策。

流式处理是一种大数据技术。它让用户能够在接收数据之后的一小段时间内快速查询持续数据流并检测条件。检测时间段可以从几毫秒到几分钟不等。例如,通过流式处理,你可以查询温度传感器的数据流并检测温度何时达到冰点,以便接收警报。

data Artisans 还发布了一份白皮书,介绍了 Streaming Ledger 的细节和架构。例如,我们发现该架构由四个基本构建块组成。用于维护应用程序状态的表、用于更新表的事务函数、驱动事务的事务事件流和根据流处理成功或失败发出事件的可选结果流。此外,在事务中修改表时,表与并发更改是相互隔离的。因此,即使是跨多个流,也可以确保数据一致性。

来源:Data Artisans Streaming Ledger 白皮书

Data Artisans 还提供了一个 GitHub 存储库,可以从源代码构建 Streaming Ledger 或从 Maven Central 中获取它。此外,存储库还提供了几个入门示例,如 SimpleTrade 示例,演示了如何使用 Streaming Ledger。

查看英文原文 Data Artisans Announces Serializable ACID Transactions on Streaming Data

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2018-09-17 19:001334
用户头像

发布了 731 篇内容, 共 432.0 次阅读, 收获喜欢 1996 次。

关注

评论

发布
暂无评论
发现更多内容

九章云极发布大模型时代下全新产品系列 ,逐浪算力x软件万亿级市场|TE洞察

TE智库

开源 大模型 AIGC

万物互联时代,互联网企业为什么需要华为云网站安全解决方案?

平平无奇爱好科技

中移物联车联网项目,在 TDengine 3.0 的应用

爱倒腾的程序员

涛思数据 tdengine 时序数据库

​阻抗计算,真的没有那么难!

华秋PCB

工具 电路 阻抗 PCB PCB设计

游戏和电商企业活动频繁,华为云网站安全解决方案如何促进业务发展和增长

平平无奇爱好科技

推荐6款开源免费工具

伤感汤姆布利柏

自动化流行于虚拟制作行业,Perforce推出免费API助力

龙智—DevSecOps解决方案

ci API Helix Core 虚拟制作

华为扫地僧:揭秘IoT+鸿蒙帮助企业突围物联网安全问题

华为云开发者联盟

物联网 华为云 华为云开发者联盟 企业号 7 月 PK 榜

低代码应用开发平台 高效构建业务系统

力软低代码开发平台

分享6款常用的开源工具(白嫖党入)

树上有只程序猿

华为云专家出品《字节码编程指南》电子书上线

华为云PaaS服务小智

云计算 字节码编程 华为云

万字血书Vue—Vue语法

不在线第一只蜗牛

Vue 教程 语法

分享6个数据可视化软件工具

互联网工科生

数据可视化 可视化软件

保姆级教程:带你体验华为云测试计划CodeArts TestPlan

华为云开发者联盟

云计算 华为云 华为云开发者联盟 企业号 7 月 PK 榜

SpringBoot——自定义自动配置与起步依赖

互联网工科生

spring springboot

5年经验,不会Java性能优化,面试原地翻车

程序员小毕

程序员 后端 JVM java面试 Java性能优化

怎么样可以算一名云原生工程师?

高端章鱼哥

云原生

一文了解AppSec,以及如何通过Perforce工具保障应用程序防护

龙智—DevSecOps解决方案

APP开发 应用程序安全 AppSec

看北京地铁如何利用数智底座充分发挥数据价值

用友BIP

数智底座

数据库中用户删除不掉总是报错,依赖如何处理干净?

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 7 月 PK 榜

分布式服务一篇概览

这我可不懂

分布式

揭秘!用友BIP多维数据库:企业数智化的国产利器

用友BIP

如何克服嵌入式开发中的各种挑战,构建完善工具链并落地最佳实践?

龙智—DevSecOps解决方案

嵌入式 嵌入式开发

MAYA 2024和之前版本相比有哪些变化?

Finovy Cloud

拥抱创新 争创一流 酷克数据入选北京市“专精特新中小企业”

酷克数据HashData

提高网站可用性需要真家伙,华为云网站高可用解决方案有何亮点?

平平无奇爱好科技

一文让你从零开始入门 K8s

伤感汤姆布利柏

如何设计一个最简化的推荐系统

快乐非自愿限量之名

框架开发 系统框架

Maxon Rugged Industrial Explosion-Proof IP68 WiFi 6 Series in hazardous areas.

wifi6module

Wi-Fi 6 Explosion-proof ip68 industrial IIC T6

Data Artisans发布支持ACID事务的流式处理框架Streaming Ledger_DevOps & 平台工程_Eldert Grootenboer_InfoQ精选文章