2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

文件系统事务——仍然是一个棘手的领域吗?

  • 2008-01-15
  • 本文字数:2048 字

    阅读完需:约 7 分钟

过去,事务处理系统主要甚或完全依赖于数据库来处理那些要求事务性的 IO 行为的 ACID 各方面。无论库 / 框架、语言,或者文件系统级别,对文件系统操作事务的支持一直都很薄弱。最近,情况开始显示出改进的迹象。

虽然单独看某些文件系统操作(文件重命名、删除等),它们是原子的,但是到目前为止,很少有解决办法能够形成一组综合的 API,全方位地支持事务性的文件 IO 操作。如果文件操作(例如创建、修改、重命名、删除文件)需要作为事务的一部分而连贯地执行,那么应用程序往往必须依赖于自行设计的方案,去减少系统 / 应用失败或并发访问时出现不一致状态的可能性。

如果能使文件系统的事务支持更加健壮、全面,许多类型的应用都会受益:

  • 办公软件(文字处理软件、电子制表软件等)——其中有大量的读、写、删除文件操作被执行
  • 安装程序——如果发生失败或错误,这些软件可要求还原到最初的文件系统状态
  • 不要求像 SQL 那么强大的搜索功能的应用——相较于数据库,如果这些应用把数据存储在简单文件(flat files)中,也许能更快
  • 文档和内容管理系统——它们大量使用文件 IO 操作

在这个领域,最显著的一些发展成果有:

在 MSDN Magazine 的一篇文章里,Jason Olson(微软的技术布道者)解释了 TxF的主要特征,TxF 是一个将处理文件操作事务的设想引入到 Windows Vista 和下个 Windows Server 版本“Longhorn”的新特性。按照 Jason 的意思,TxF 的主要目标是:

提高应用稳定性;

事务性 NTFS 通过减少或消除应用中需要编写和维护的错误处理代码的数量,使应用获得更好的稳定性。这最终减少了应用的复杂度,并使应用更易于测试……没有事务性文件操作,要想防范每一个可能失败的场景几乎是不可能的,处理过程中的任何时刻操作系统都有可能失败。

提高平台稳定性:

……微软正在自己的产品中使用 TxF 来达到这一目标。目前 Windows Vista 和 Windows Server “Longhorn”中有三个核心的功能用到了事务性 NTFS:Windows 自动更新、系统还原、以及计划任务。它们都利用 TxF 在一个事务内往文件系统中写文件,以在出现任何异常(例如由于断电导致的系统重启)时能处理回滚 / 提交。

增加创新:

TxF 提供了一个不需要 SQL 调用就能使用事务的框架,这是对创新的推动。最终,事务性 NTFS 能根本改变开发人员编写应用程序的方式,让他们构建出更加健壮的代码。通过在设计里面结合事务,你编写代码的时候就不用时时防范每一个可能发生的失败。

由于 TxF 建立在内核事务管理器(Kernel Transaction Manager,KTM)之上,并且 KTM 能直接与 Microsoft 分布式事务协调器(Microsoft Distributed Transaction Coordinator)合作。Jason 描述到,事务性文件操作可以和其他使用 XA-Transactions 的技术并用,包括 SQL 操作、通过 WS-Atomic Transaction 或者 MSMQ 操作进行的 Web Service 调用——从而使文件系统也参与到 XA Transactions 之中。

Vista 和 Longhorn 的 Transactional Registry 中也实现了类似于 TxF 的设想。关于潜在性能影响,文章中也提到:“TxF 是严格的付费运转(pay-to-play)模式。如果你不使用处理事务性的文件操作,就不会有而外的代价”。他补充说,TxF 是为提交而优化的。

Apache 的Commons Transaction项目的目标之一是提供对文件系统的事务性访问,它的实现方式是与具体的文件系统提供者 / 实现无关的。这个 Java 库用一种悲观锁定方案来实现文件系统上的 ACID 事务。 myjavatricks.com 上的一篇博客介绍了 Commons Transactions 的几个概念,以及以事务的方式执行基本文件操作的几个 Java 例子。

Commons Transaction 的核心组件是 FileResourceManager,FileResourceManager 创建事务、协调它掌管下的资源 / 文件的文件操作——复制、创建、删除、移动、写入,以及准备和提交事务。在初始化阶段要为 FileResourceManager 准备:

  • 提交之后存放主要数据的目录
  • 事务存储临时数据的目录(工作目录)
  • 指示是否要对路径进行 URL 编码的布尔标记
  • FileResourceManager 使用的日志器(logger)

启动之后,FileResourceManager 紧接着将试图回滚所有未完成的事务,除非事务在系统失败或者 FileResourceManager 遇到不可挽回的问题时已经在提交的过程中了,在这种情况下,FileResourceManager 会试图前滚事务。万一事务不能恢复,例如既不能回滚、也不能前滚,整个工作目录会由 FileResourceManger 标记为“脏”状态,在问题解决之前都不再允许对其进行修改。日志中的信息通常都可以帮助从“脏”状态进行手动恢复。

尽管 Commons Transaction 不能使一个文件系统变成符合 XA 的资源,但是在博客作者看来,如果你的应用程序需要文件系统事务,这个库“很可能比你自己能搞出来的任何自定义机制都要好”。

尽管要使文件系统中的事务达到与数据库相似的程度还有很长的一段路要走,但是至少已经有一些实现开始形成,并且打算在这个棘手的领域为开发者提供更切实可行的解决方案。

查看英文原文: File System Transactions - still a problem area?

2008-01-15 18:3812119
用户头像

发布了 151 篇内容, 共 69.5 次阅读, 收获喜欢 18 次。

关注

评论

发布
暂无评论
发现更多内容

AeroSpace - macOS上的i3风格平铺窗口管理器

qife122

macos swift

DataSpell 2025 for Mac 专业数据科学家的IDE

晨光熹微

强大专业的HTML文本代码编辑器BBEdit for mac

晨光熹微

优测推出HarmonyOS全场景测试服务,解锁分布式场景应用卓越品质!

优测云服务平台

HarmonyOS harmony HarmonyOS NEXT

2025 年非关系型数据库全面指南:类型、优势

镜舟科技

sql 数据分析 数据存储 非关系型数据库 StarRocks

基于YOLOv8的农作物叶片病害、叶片病斑精准识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!

申公豹

yolov8

在AI时代,挖掘用户真实需求比实现功能更具挑战性——轻量级高性能的macOS屏幕录制工具需求探索

qife122

需求分析 产品优化

Airmail 5 for Mac 轻量级邮件客户端

晨光熹微

微信公众号/小程序百万级OpenID自动化获取工具

Allen_Lyb

微信

Perfectly Clear Workbench for mac智能图片瑕疵处理工具

晨光熹微

盈米基金与阿里云达成AI全栈战略合作

盈米AI开放平台

企业AI 全栈云 MCP Server

基础模型选择指南:如何为生成式AI投资保驾护航?

澳鹏Appen

基础模型 生成式 AI 应用 IDC报告

SeaTunnel 云仓连接器使用指南 | AI 助手解读系列

白鲸开源

开源 云数据仓库 Seatunnel AIGC AI 文档

SpringBoot--如何创建自己的自动配置

量贩潮汐·WholesaleTide

spring

破 400!Apache SeaTunnel 成为全球开发者共建热土

白鲸开源

人工智能 开源 云数据仓库 Apache SeaTunnel AI 文档

结构型模式-架构解耦与扩展实践

不在线第一只蜗牛

架构 开发

行业分享丨智能网联时代,电磁仿真如何 “打全场”?

Altair RapidMiner

电磁 汽车 仿真 CAE 航空航天

性能优化:两条SQL索引优化,CPU占用率从40%降至25%

电子尖叫食人鱼

数据库 sql

PhotoSweeper X for Mac 重复照片清理工具

晨光熹微

万界星空科技铜线/漆包线行业智能化MES系统解决方案

万界星空科技

mes 漆包线mes 铜线mes 漆包线 漆包线工厂

「宇树科技」启动IPO,商业化瓶颈剖析和近30家产业链公司梳理

机器人头条

人形机器人 具身智能 宇树科技 智元机器人

RDS (Relational Database Service) 介绍

SkyBuilds

二次开发必看!DolphinScheduler 3.1.9 开发环境搭建指南

白鲸开源

大数据 开源 大数据任务调度 Apache DolphinScheduler 二次开发

Plug And Mix VIP Bundle 人声处理插件

晨光熹微

从分析到优化:Amazon Q CLI 助力 EKS 网络调用链剖析与运维实践

亚马逊云科技 (Amazon Web Services)

深度解读《指标+ AI 数智应用白皮书》,开辟智能问数与分析决策新范式

袋鼠云数栈

AI 数字化转型 指标 指标管理 数智应用

RPA 部署别踩坑!这三点 IT 人必须懂

Techinsight

RPA RPA评测 RPA Agent RPA智能体

以AI智能技术破解中小电商 “服务短板” 困境

极客天地

MD文档转换工具Deckset for Mac

晨光熹微

RustRover 2025 for Mac 高效Rust开发工具

晨光熹微

3D建模解决方案Agisoft Metashape Professional for mac

晨光熹微

文件系统事务——仍然是一个棘手的领域吗?_Java_Alexander Olaru_InfoQ精选文章