写点什么

Data Artisans 发布支持 ACID 事务的流式处理框架 Streaming Ledger

  • 2018-09-17
  • 本文字数:1135 字

    阅读完需:约 4 分钟

data Artisans 宣布推出 Streaming Ledger ,它扩展了 Apache Flink,提供了跨表、键和事件流执行可序列化 ACID 事务的功能。这项正在申请专利的技术是 Flink 的专有附加技术,超越了当前一次只能在一个键上实现一致性的标准。

在发布 Streaming Ledger 之前,流式处理框架(如 Flink 和 Spark)只提供一次性语义,只能在单个键上实现一致性。然而,随着 data Artisans Streaming Ledger 的发布,Flink 现在允许跨越事件状态边界,同时仍然能够保证 ACID 事务。ACID 是事务系统关键组件的首字母缩写。

原子性:事务以原子方式应用所有更改,事务函数要么执行全部修改或不执行任何修改。

一致性:事务函数将表从一个一致状态带入另一个一致状态。

隔离:执行事务时,就好像当前事务是在表上运行的唯一事务。

持久性:事务所做的更改是持久的,永远不会丢失。

根据 ACID 原则实现的事务作为单个操作执行,要么全部完成要么全部失败。这确保了数据一致性,即使是发生了中断或应用程序错误。ACID 事务的一个常用例子是将资金从一个银行账户转移到另一个银行账户。虽然 Streaming Ledger 是流式处理框架中第一个实现 ACID 事务的,但 ACID 事务已经在 SQL Server 和 Oracle 等关系数据库系统中存在了很长时间。

来源:Data Artisans Streaming Ledger 白皮书

Artisans 公司由开源流式处理框架 Apache Flink 的原作者创建,提供了一个流式处理基础设施,其中包括数据 Artisans Platform,也称为 dA 平台。该平台由 Apache Flink、dA 应用程序管理器和 Streaming Ledger 组成。该公司专注于流式处理领域,WSO2 研究副总裁 Srinath Perera 将其描述为一种大数据技术,允许查询数据流并基于信息做出决策。

流式处理是一种大数据技术。它让用户能够在接收数据之后的一小段时间内快速查询持续数据流并检测条件。检测时间段可以从几毫秒到几分钟不等。例如,通过流式处理,你可以查询温度传感器的数据流并检测温度何时达到冰点,以便接收警报。

data Artisans 还发布了一份白皮书,介绍了 Streaming Ledger 的细节和架构。例如,我们发现该架构由四个基本构建块组成。用于维护应用程序状态的表、用于更新表的事务函数、驱动事务的事务事件流和根据流处理成功或失败发出事件的可选结果流。此外,在事务中修改表时,表与并发更改是相互隔离的。因此,即使是跨多个流,也可以确保数据一致性。

来源:Data Artisans Streaming Ledger 白皮书

Data Artisans 还提供了一个 GitHub 存储库,可以从源代码构建 Streaming Ledger 或从 Maven Central 中获取它。此外,存储库还提供了几个入门示例,如 SimpleTrade 示例,演示了如何使用 Streaming Ledger。

查看英文原文 Data Artisans Announces Serializable ACID Transactions on Streaming Data

2018-09-17 19:001782
用户头像

发布了 731 篇内容, 共 468.5 次阅读, 收获喜欢 2006 次。

关注

评论

发布
暂无评论
发现更多内容

KeilC51基础 改变代码的字体大小

万里无云万里天

嵌入式 单片机 8051

龙华区工业软件赋能制造业创新发展思享会成功举办!

最新动态

1688商品详情API返回值深度研究:阿里巴巴中国站数据驱动的客户服务优化

技术冰糖葫芦

API Explorer API 安全 API 文档

查思专利,为全球科研人员修一条信息“高铁”

脑极体

AI

通义灵码 Visual Studio 下载安装指南(附安装包)

阿里云云效

阿里云 云原生 通义灵码

Confluence又一重磅软件:Confluence白板,附5款好用的替代软件推荐!

彭宏豪95

效率工具 职场 在线白板 Confluence 办公软件

经验整理 神经网络基础知识

万里无云万里天

人工智能 神经网络

鸿蒙笔记 下载和安装DevEco Studio

万里无云万里天

DevEco Studio 鸿蒙系统

鸿蒙笔记 helloworld(Java)

万里无云万里天

鸿蒙系统 DevEco Device Tool

三七互娱彭美:广游联运模式下,部分游戏付费量提升达1400%

最新动态

通义灵码 Visual Studio 下载安装指南(附安装包)

阿里巴巴云原生

阿里云 云原生 通义灵码

PikiwiDB(Pika) 3.5 最佳实践

apache/dubbo-go

redis Pika

Character AI 推出实时语音通话功能;AirPods 将配备红外摄像头模组丨 RTE 开发者日报

声网

六月的魔力:揭秘2024年加密市场与Reflection的创新与收益

BlockChain先知

认证总结 北京业余无线电台A类

万里无云万里天

通信 无线电

什么是性能测试,一篇文章告诉你!

霍格沃兹测试开发学社

通过阶乘获取一个一维PHP数组中全部的组合情况

左诗右码

《神经网络设计》PDF

程序员李木子

VSPD9.0基础 建立一对互联的虚拟串口,进行串口通信的测试

万里无云万里天

虚拟化 串口通信 VSPD

【程序大侠传】异步架构应用回调数据接收接口偶发NPE

Disaster

应用交付与负载均衡:深入解析网络架构中的关键技术

通明湖

负载均衡 应用交付

办公神器小浣熊:有你我怎能不摸鱼

知识浅谈

AI AIGC 办公小浣熊

经验整理 小甲鱼Python

万里无云万里天

Python 经验分享

我在中东做MCN,月赚10万美金

自象限

KeilC51基础 利用仿真测试代码的运行时间

万里无云万里天

嵌入式 单片机 8051

【建议收藏】Go语言关键知识点总结

不在线第一只蜗牛

c++ Go 算法 开发语言

轻松实现商品多属性组合:深入理解笛卡尔乘积的 PHP 实现方法

左诗右码

使用 Amazon Bedrock Converse API 简化大语言模型交互

亚马逊云科技 (Amazon Web Services)

API 生成式人工智能

经验整理 Datawhale-23期数据挖掘-心跳信号分类预测

万里无云万里天

人工智能 数据挖掘

如何在 Spring Boot 中开发一个操作日志系统

网罗开发

Java’ 企业号 6 月 PK 榜

Data Artisans发布支持ACID事务的流式处理框架Streaming Ledger_DevOps & 平台工程_Eldert Grootenboer_InfoQ精选文章