OceaBase开发者大会落地上海!4月20日共同探索数据库前沿趋势!报名戳 了解详情
写点什么

分布式计算的 8 大谬误

  • 2021-09-14
  • 本文字数:2135 字

    阅读完需:约 7 分钟

分布式计算的8大谬误

在 Ably 博客最近的一篇文章中,Alex Diaconu 回顾了分布式计算的 8 大谬误,并提供了一些应对建议。InfoQ 借此机会与 Diaconu 进行了交流,以了解更多关于 Ably 工程师如何处理这些谬误的信息。


在 Ably 博客最近的一篇文章中,Alex Diaconu回顾了分布式计算的 8 大谬误,并提供了一些应对建议。InfoQ 借此机会与 Diaconu 进行了交流,以了解更多关于 Ably 工程师如何处理这些谬误的信息。


8大谬误是关于分布式计算的一组假设,这些假设可能会导致软件开发的失败:网络是可靠的;延迟为 0;带宽是无限的;网络是安全的;拓扑结构是不变的;只有一名管理员;传输成本为 0;网络是同构的。


这些谬误可以视为分布式系统设计时需要考虑的架构需求。InfoQ 与 Diaconu 进行了交流,以了解更多关于 Ably 工程师如何处理这些谬误的信息。


InfoQ:关于分布式计算的谬误,自从最初提出以来,已经过去了近三十年,但现在它们仍然很有意义。在 Ably,它们的作用是什么?


Alex Diaconu: 所有这些谬误指向的都是分布式系统设计的陷阱,它们今天依然很有意义。它们的影响不尽相同,其中有一些更容易处理。对于 Ably 来说,下面这几个谬误的影响最为普遍:

网络是可靠的。 自然,这是所有服务设计和运营都需要考虑的一个方面。不仅网络本身不可靠,你试图通过网络访问的系统也会失败。网络失败也不是一个二元问题——网络失败会有意想不到的形式。预测节点或互连故障是系统设计固有的工作。在 Ably 的博客上,我们已经对我们的处理方法做了广泛的探讨,比如通过容错机制


拓扑结构是不变的。 这条谬误对于我们的架构而言也很重要。Ably 平台被设计成具有实时弹性的平台,因此,其拓扑结构会不断变化。我们的系统必须把拓扑结构变化作为一个常规问题来处理,而且,处理这个问题是系统复杂性的一个重要来源。其他系统服务使用发现层来构造系统拓扑的公共视图。服务间请求路由全都是根据那个拓扑结构图来完成的:发现层的可扩展性和性能是一项不小的工程挑战,我们已经在扩展 Ably 服务的过程中解决了这个问题。


带宽是无限的 &传输成本为 0。 在实践中,系统内的网络成本——在跨多个地区的全球性系统中——在运营成本中占了相当一部分。因此,我们要知道,在设计系统时,要保证我们的流量可以随着用户负载线性扩展,并且要监控流量,确保它在设计参数之内。我们偶尔也会遇到网络状况退化的问题,因此,我们需要通过监控来发现这种退化。


InfoQ:在分布式系统过去 30 年的发展历程中,是否出了其他需要注意的谬误?


Diaconu: 我觉得,过去 30 年最大的变化是我们对如何处理这些谬误的理解更成熟了。这不是说问题更简单了,而是我们对它们有了更好的理解。我们知道什么方法好,什么方法不好,以及某种特定的方法有什么局限。关于这些问题,现在已经有了完善的科学理论和工程实践。计算机科学专业的学生都会学习这些问题及其现状。


当然,重要的是要知道,这些谬误是长久存在的技术挑战,而不要把它们想成是可以轻松躲开的陷阱。事实上,我觉得你可以说有这样一种新谬误——“避免分布式计算的谬误很简单”。


InfoQ:有些谬误已经是老生常谈,例如,“云不安全”的观点已被广泛接受。不过,这些谬误中也有一些复杂难解之处,应对起来并不是那么简单。


Diaconu: 就像前面提到的那样,分布式系统的挑战,以及与分布式系统构建技术和机制相关的广泛的科学领域,已经得到了很好的研究。然而,当你在现实世界中应对这些挑战时就会发现,学术理解只能带你走这么远。

构建分布式系统要遵循工程实用主义进行权衡,最好的解决方案来自于经验以及试验。例如,“网络是可靠的”这一谬误是你要解决的最基本的问题。已知的解决方案有具有重试机制的协议、共识形成协议或冗余容错,使用哪种方案,取决于你所关注的特定的故障模式。不过,工程上的现实情况是,多重故障可能会同时发生。这样,理想的解决方案应该基于故障分布分析或是故障预算分析,以及某些故障对具体业务的影响。恢复机制本身可能会因为系统不可靠而失败,而此类失败发生的概率可能会影响解决方案。当然,也有复杂性风险:解决方案理论上很可靠,但也很复杂,与理论上不那么完善但更简单的机制相比,当事件发生时,处理或理解的难度都要大很多。


InfoQ:过去几年,微服务已经变得非常流行,它们似乎并不把“传输成本为 0”当成谬误。事实上,微服务越小,其数量和随之而来的传输成本就越大。关于这一点,您怎么看?


Diaconu: 也许这是另一个谬误“微服务简化了系统推理”。有时候,将事情分解成表面积较小的组件可以简化推理。但是,有时候,这些边界会增加复杂性,会增加故障模式,产生一些新的需要推断的行为。


和之前的回答一样,具体的设计选择,以及何时何地采用已知的理论解,取决于工程判断和经验。在 Ably,我们运营的系统有多个角色,这些角色可以独立扩展、相互操作及相互发现。然而,我们很少将功能划分成不同的角色,而且只在有特定需求时才会这样做。例如,如果我们希望某些特定的功能能够独立于其他功能进行扩展,这可以证明单独创建一个角色的合理性,即使它带来了额外的复杂性。


Diaconu 的文章不仅帮助我们了解了谬误的来源,而且还就当前解决谬误的技术和方法提供了一些实用的线索,所以如果你对这个问题感兴趣,不妨读一下。


查看英文原文:Reviewing the Eight Fallacies of Distributed Computing

2021-09-14 15:072790

评论

发布
暂无评论
发现更多内容

开启时空大数据新纪元:JNPF快速开发平台引领AI与自然资源融合

EquatorCoco

人工智能 AI 数据 时空大数据

如果AI能帮我 | 社区征文

六月的雨在InfoQ

AIGC ChatGPT 年中技术盘点 通义听悟

接口文档阅读方法:程序员必备的技术指南

Liam

程序员 接口文档 API

对象存储、数据库、NAS、标注数据集,均支持元信息配置|ModelWhale 版本更新

ModelWhale

人工智能 数据库 云计算 数据分析 大模型

Cloud Kernel SIG月度动态:ANCK 5.10-016将落地kABI机制,5.10-015版本规划发布

OpenAnolis小助手

操作系统 内核 anck 龙蜥sig 版本规划

浅谈如何向上管理

光毅

团队管理 向上管理

重塑未来的1课:组装式交付新引擎——华为云智能化低代码平台

华为云PaaS服务小智

云计算 低代码 华为云 华为开发者大会

低代码技术分享官丨inBuilder使用有向无环图助力元数据工程依赖管理

inBuilder低代码平台

从零开始构建一个电影知识图谱,实现KBQA智能问答[上篇]:本体建模、RDF、D2RQ、SPARQL endpoint与两种交互方式详细教学

汀丶人工智能

人工智能 自然语言处理 nlp 知识图谱 本体建模

大学生活动社交小程序开发笔记(1)

CC同学

一个提高go开发效率的秘密武器,一天开发完成一个极简版社区后端服务

vison

crud gorm gin #go 代码自动生成

HDC.Cloud 2023 |华为云5大开源项目发布与更新,助力开发者实现应用创新

华为云开源

开源 云原生 HDC.Cloud

Boundless Hackathon @Stanford 主题黑客松活动闭幕,一文回顾

EOSdreamer111

es笔记六之聚合操作之指标聚合

Hunter熊

elasticsearch

科兴未来|“追光逐电 才聚紫琅”光电产业创新创业大赛

科兴未来News

数码时代的奇迹:低代码开发助力数字经济的蓝海探索

快乐非自愿限量之名

人工智能 低代码 数字化 数字经济

分布式系统常见问题

互联网工科生

分布式

昇腾AI创新大赛2023开发者套件创新赛道专题解读篇

彭飞

《面试1v1》开篇

JavaPub

Java redis elasticsearch 面试 计算机

创新引领!矩阵起源荣获中国信通院双重认可!

MatrixOrigin

数据库 分布式 云原生 超融合 矩阵起源

从零开始构建一个电影知识图谱,实现KBQA智能问答[下篇]:Apache jena SPARQL endpoint及推理、KBQA问答Demo超详细教学

汀丶人工智能

人工智能 自然语言处理 知识图谱 智能问答 KBQA

实例分享| anyRTC 部署安徽某市应急实战指挥平台

anyRTC开发者

音视频 快对讲 融合会议 视频监控 综合调度

GPT-4被破解!数智时代大突破!低代码开发平台揭秘:AI模型架构演进的利器

不在线第一只蜗牛

人工智能 低代码 模型调参 ChatGPT GPT-4

小程序开发这么简单,还需要App吗?

FinFish

小程序生态 APP开发 小程序开发

Docker学习路线2:底层技术

小万哥

Docker 程序员 容器 后端 开发

软件测试/测试开发丨Selenium环境安装配置

测试人

Python 程序员 软件测试 selenium chromedriver

MatrixOne悲观事务实现

MatrixOrigin

数据库 分布式 云原生 矩阵起源

开源铸剑,五载匠心!Zilliz Cloud云服务盛装登场,引领向量数据库云时代!

Zilliz

阿里云 SaaS 云服务 Zilliz zillizcloud

2023-07-11:给定正整数 n, 返回在 [1, n] 范围内具有 至少 1 位 重复数字的正整数的个数。 输入:n = 100。 输出:10。

福大大架构师每日一题

Go 算法 rust 福大大架构师每日一题

Boundless Hackathon @Stanford 主题黑客松活动闭幕,一文回顾

股市老人

直播预告 | 博睿学院:海量数据实时可信认证

博睿数据

智能运维 博睿数据 数据要素 博睿学院

分布式计算的8大谬误_架构_Sergio De Simone_InfoQ精选文章