写点什么

python 分布式

收录了 python 分布式 频道下的 50 篇内容

Uber正式开源分布式机器学习平台Fiber
Uber 正式开源分布式机器学习平台 Fiber

Fiber是一个新的Python分布式库,现已正式开源。

Fiber 简明入门指南
Fiber 简明入门指南

Fiber,让人工智能的分布式计算变得简单。

取代Python多进程!伯克利开源分布式框架Ray
取代 Python 多进程!伯克利开源分布式框架 Ray

Ray是一个用于并行计算和分布式Python开发的开源项目。本文将介绍如何使用Ray轻松构建可从笔记本电脑扩展到大型集群的应用程序。

如何在Python中实现异步执行?
如何在 Python 中实现异步执行?

这篇文章将会介绍传统的任务队列系统、异步执行所处的位置以及几款常用调用工具的优缺点。

DBPack 赋能 python 微服务协调分布式事务
DBPack 赋能 python 微服务协调分布式事务

DBPack 的分布式事务致力于实现对用户的业务无入侵,使用时下流行的sidecar架构,主要使用 ETCD Watch 机制来驱动分布式事务提交回滚,它对 HTTP 流量和 MYSQL 流量做了拦截代理,支持 AT 模式(自动补偿 SQL)和 TCC 模式(自动补偿 HTTP 请求)。

分布式事务
分库分表
读写分离
seata
dbmesh
javaer 徒手撸一个 python 语言的分布式 rpc

基于python撸了一个分布式rpc,可以给予此快速搭建自己的python微服务

Python
微服务
RPC
演讲实录|分布式 Python 计算服务 MaxFrame 介绍及场景应用方案

MaxFrame 是基于云原生的分布式 Python 计算服务,支持 Python 编程接口,兼容 Pandas、XGboost 等数据处理及 ML 算子接口且自动实现分布式处理。

云计算
大数据
分布式
云原生
MaxCompute
Python 多进程日志以及分布式日志的实现方式

python日志模块logging支持多线程,但是在多进程下写入日志文件容易出现下面的问题:

Python
编程
多线程
日志
分布式日志
Mars:大规模张量计算系统的构建实践
Mars:大规模张量计算系统的构建实践

本次分享基于 Mars 以往的实践介绍系统架构和提升执行效率方面的实践。

实战案例丨分布式系统中如何用 python 实现 Paxos

​​​​​​摘要: 提到分布式算法,就不得不提 Paxos 算法,在过去几十年里,它基本上是分布式共识的代 名词,因为当前最常用的一批共识算法都是基于它改进的。比如,Fast Paxos 算法、 Cheap Paxos 算法、Raft 算法、ZAB 协议等等。

Python
算法
分布式系统
PAXOS
集群库
DMLC:最大开源分布式机器学习项目

近日,分布式开源机器学习项目正式发布。本文对该项目所包含的库及系统组件进行了简单介绍。

软件测试 / 测试开发 / 全日制 | Python 全栈开发实战:搭建高可用的分布式系统

霍格沃兹测试开发学社推出了《Python全栈开发与自动化测试班》。本课程面向开发人员、测试人员与运维人员,课程内容涵盖Python编程语言、人工智能应用、数据分析、自动化办公、平台开发、UI自动化测试、接口测试、性能测试等方向。为大家提供更全面、更深入、

测试
阿里巴巴AI系统建设的思考
阿里巴巴 AI 系统建设的思考

未来AI的模型发展方向会从单机训练向大规模分布式训练发展,通过大规模预训练模型+小样本的蒸馏的模型开发流程将会成为主流。

基于UAI-Train平台的分布式训练
基于 UAI-Train 平台的分布式训练

在大型数据集上进行训练的现代神经网络架构,可以跨广泛的多种领域获取可观的结果,涵盖从图像识别、自然语言处理到欺诈检测和推荐系统等各个方面,但训练这些神经网络模型需要大量浮点计算能力。

架构新纪元(四):观察分布式服务
架构新纪元(四):观察分布式服务

仅仅构建微服务是不够的,对于一套完整的技术体系而言,除了开发,还需要运维给予强力支持。

为什么已有Spark和Dask,阿里还要开源自研分布式科学计算引擎Mars?
为什么已有 Spark 和 Dask,阿里还要开源自研分布式科学计算引擎 Mars?

随着数据应用类型的愈加丰富和数据规模的不断扩大,单机早已无法满足超大规模数据计算和分析的需求,分布式才是如今大数据领域的核心关键词。

才云开源云原生分布式训练项目 FTLib:支持弹性伸缩、自动容错
才云开源云原生分布式训练项目 FTLib:支持弹性伸缩、自动容错

真正部署和运行大规模的分布式训练。

ElasticDL:蚂蚁金服开源基于TensorFlow的弹性分布式深度学习系统
ElasticDL:蚂蚁金服开源基于 TensorFlow 的弹性分布式深度学习系统

实现弹性深度学习的开源系统。开源地址为:elasticdl.org开源中国采访了ElasticDL项目负责人王益,对该深度学习系统的技术细节进行了全面介绍。

MXNet结合kubeflow进行分布式训练
MXNet 结合 kubeflow 进行分布式训练

MXNet 支持在多CPU和GPU上进行训练。其中,这些CPU和GPU可以分布在不同的服务器上。一台GPU机器上的每块GPU都有自己的编号(编号从0开始计数)。

python 分布式专题_资料-InfoQ中文网