「一场值回票价的演讲」将重现QCon? 了解详情
写点什么

分布式计算

收录了 分布式计算 频道下的 50 篇内容

分布式计算开源框架 Hadoop 介绍

Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。本文是Hadoop入门实践三部曲的第一部,主要讲述了What和Why的问题。

分布式计算编程模型之 RPC

RPC机制的出现可以追溯到40年之前。时至今日,它仍是在编写分布式应用时使用率最高的一种编程模型。只是近些年来,人们对于RPC技术的质疑与批评声逐渐多了起来。尽管面临着这些尖锐的批评,但RPC的历史地位是不容置疑的,而它在现代化的应用中仍能够占据一席之地,成为分布式计算中一种重要的编程模型。Christopher Meiklejohn近来开设了一系列博客文章以讲解分布式计算中的各种编程模型与语言,在其中一篇文章中对RPC进行了详尽的回顾与展望。

分布式计算系统的性能优化丨QCon
分布式计算系统的性能优化丨 QCon

互联网时代,数据量爆发式增长。基于高性能的分布式计算系统,海量数据得到充分、及时的分析,才能最大化其价值。

分布式计算系统的性能优化|QCon
分布式计算系统的性能优化|QCon

互联网时代,数据量爆发式增长。基于高性能的分布式计算系统,海量数据得到充分、及时的分析,才能最大化其价值。

分布式计算系统的性能优化
分布式计算系统的性能优化

本次分享介绍分布式计算系统中,在表示层、运行时、存储格式、新硬件等多方面的优化实践。

分布式计算框架状态与容错的设计
分布式计算框架状态与容错的设计

每个框架都有与之相关的诸多概念,常常令开发者感到困惑。

深入浅出时序数据库之分布式计算

物联网领域近期如火如荼,互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选,时序数据库也越来越多进入人们的视野,而早在2016年7月,百度云在其天工物联网平台上发布了国内首个多租户的分布式时序数据库产品TSDB,成为支持其发展制造,交通,能源,智慧城市等产业领域的核心产品,同时也成为百度战略发展产业物联网的标志性事件。 前文提到数据查询特别是大数据量的聚合分析查询是时序数据库需要解决的一个主要问题,之前的文章介绍了通过预处理数据的方法,用空间换时间的思路,降低了大数据量聚合分析的延时。 本文将从分布式计算方向思考,从并发的角度介绍时序数据库如何降低数据查询的延时。

文章:分布式计算开源框架 Hadoop 介绍

Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。本文是Hadoop入门实践三部曲的第一部,主要讲述了What和Why的问题。直接点击阅读完整文章

DryadLINQ 让分布式计算更美好

Dryad和DryadLINQ是微软研究院的两个项目,用于辅助C#开发人员在计算机集群或数据中心里处理大规模的数据。

分布式计算的8大谬误
分布式计算的 8 大谬误

在Ably博客最近的一篇文章中,Alex Diaconu回顾了分布式计算的8大谬误,并提供了一些应对建议。InfoQ借此机会与Diaconu进行了交流,以了解更多关于Ably工程师如何处理这些谬误的信息。

微软分布式计算框架 Naiad 获热议

Naiad是一个研究并行数据流的计算框架,本着Dryad和DryadLINQ的精神。Dryad项目主要研究用于为小集群或大型数据中心编写并行和分布式程序的编程模型。DryadLINQ则是用于开发大规模的、运行在大集群上的并行应用,他具有轻便、强大、优雅的编程环境。与Dryad和DryadLINQ有别,Naiad专注于增量计算。

亚马逊的分布式计算宣言
亚马逊的分布式计算宣言

这份宣言浓缩了一段迷人的历史,涵盖了亚马逊的技术演变。

时间序列数据库的秘密(3)——加载和分布式计算

如何利用索引和主存储,是一种两难的选择。Elasticsearch/Lucene的解决办法是让主存储的随机读操作变得很快,从而可以充分利用索引,而不用惧怕从主存储里随机读加载几百万行带来的代价。

微软发布了分布式计算技术 Dryad 和 DryadLINQ 的学术版

Dryad和DryadLINQ是微软的分布式计算技术,前者提供了分布式计算的基础架构,而后者提供了普通程序员也可以轻易使用的高级语言接口。不久前微软发布了它们的学术版供下载试用。

分布式计算的谬误在今天的意义有多大?

Sun Microsystems的Tim Bray发表了一篇关于分布式计算八大谬误的博文。他指出,尽管(分布式计算的谬误)在分布式系统设计中具有深刻影响,然而“在构建大型网络系统的讨论中却很少被谈及”。

创建大规模.NET 应用程序:分布式计算平台 FatDB 简介

Justin Weiler向读者介绍了FatDB,这是一个以面向任务架构创建的NoSQL数据库及分布式平台。它旨在抽象并概括企业级应用的关键特征。

Tensorflow新一轮迭代路线图:更好的XLA编译和分布式计算
Tensorflow 新一轮迭代路线图:更好的 XLA 编译和分布式计算

未来几个TensorFlow发布版本的开发路线图将基于四个支柱,分别是快捷与扩展性、机器学习应用、部署就绪和简单性。

Apache Ignite(六):基于 Ignite 的企业级分布式并行计算

Ignite基于发现技术可以自我感知地建立集群,同时实现了MapReduce范式,这两项技术再加上分布式缓存技术,为传统的企业级批量业务处理提供了新的更优雅、性能更好、综合成本更低的解决方案,本文将对这部分进行简单的整体性介绍,方便读者入门,

为什么已有Spark和Dask,阿里还要开源自研分布式科学计算引擎Mars?
为什么已有 Spark 和 Dask,阿里还要开源自研分布式科学计算引擎 Mars?

随着数据应用类型的愈加丰富和数据规模的不断扩大,单机早已无法满足超大规模数据计算和分析的需求,分布式才是如今大数据领域的核心关键词。

分布式数据库和 Hadoop 都不够好,于是我们设计了分布式 SQL 计算系统

为了解决分布式数据库下,复杂的 SQL(如全局性的排序、分组、join、子查询,特别是非均衡字段的这些逻辑操作)难以实现的问题;在有了一些分布式数据库和 Hadoop 实际应用经验的基础上,对比两者的优点和不足,加上自己的一些提炼和思考, 设计了一套综合两者的系统,利用两者的优点, 补充两者的不足。具体的说, 使用数据库水平分割的思想实现数据存储,使用 MapReduce的思想实现 SQL 计算。

分布式计算专题_资料-InfoQ中文网