收录了 python 分布式 频道下的 50 篇内容
Fiber是一个新的Python分布式库,现已正式开源。
Ray是一个用于并行计算和分布式Python开发的开源项目。本文将介绍如何使用Ray轻松构建可从笔记本电脑扩展到大型集群的应用程序。
Fiber,让人工智能的分布式计算变得简单。
这篇文章将会介绍传统的任务队列系统、异步执行所处的位置以及几款常用调用工具的优缺点。
DBPack 的分布式事务致力于实现对用户的业务无入侵,使用时下流行的sidecar架构,主要使用 ETCD Watch 机制来驱动分布式事务提交回滚,它对 HTTP 流量和 MYSQL 流量做了拦截代理,支持 AT 模式(自动补偿 SQL)和 TCC 模式(自动补偿 HTTP 请求)。
本次分享基于 Mars 以往的实践介绍系统架构和提升执行效率方面的实践。
摘要: 提到分布式算法,就不得不提 Paxos 算法,在过去几十年里,它基本上是分布式共识的代 名词,因为当前最常用的一批共识算法都是基于它改进的。比如,Fast Paxos 算法、 Cheap Paxos 算法、Raft 算法、ZAB 协议等等。
2018 到 2019 年,所有编程语言的流行度都在下滑,除了 Python。Python 为什么会变得越来越火?本文梳理了 Python 的发展史,试图揭示背后的秘密。
近日,分布式开源机器学习项目正式发布。本文对该项目所包含的库及系统组件进行了简单介绍。
在大型数据集上进行训练的现代神经网络架构,可以跨广泛的多种领域获取可观的结果,涵盖从图像识别、自然语言处理到欺诈检测和推荐系统等各个方面,但训练这些神经网络模型需要大量浮点计算能力。
未来AI的模型发展方向会从单机训练向大规模分布式训练发展,通过大规模预训练模型+小样本的蒸馏的模型开发流程将会成为主流。
随着数据应用类型的愈加丰富和数据规模的不断扩大,单机早已无法满足超大规模数据计算和分析的需求,分布式才是如今大数据领域的核心关键词。
10 月 30 日,Python 之父 Guido 宣布退休,离开 Dropbox。他发推文说,“这件事感觉既苦涩又甜蜜:苦涩的是,我马上要离开 Dropbox,现在已经退休;甜蜜的是,在 Dropbox 做工程师期间,我学到很多,比如类型标注就来自这段经历。我会非常怀念在这里工作的日子。”
仅仅构建微服务是不够的,对于一套完整的技术体系而言,除了开发,还需要运维给予强力支持。
Python之父:退休生活太无聊了。
真正部署和运行大规模的分布式训练。
Ray是UC Berkeley RISELab新推出的高性能分布式执行框架,具有比Spark更优异的计算性能,而且部署和改造更简单,同时支持机器学习和深度学习的分布式训练,支持主流的深度学习框架(pytorch,tensorflow,keras等)
你愿意迁移到Python 3吗?