收录了 计算引擎 频道下的 50 篇内容
你还在纠结流计算引擎用哪个好,蚂蚁金服已经开始发力融合计算了
Ray 是一个通用的分布式计算引擎,最初由 UC Berkeley RISELab 在 2016 年开源。
FATE 1.5 LTS 版本支持使用 Spark 作为底层的计算引擎,本文将对其实现细节以及使用进行简单介绍,方便用户在实际的使用过程中进行调优或者排查错误。
本文介绍 Watt 计算引擎的演进历程及架构设计,以及其全面提升计算能力、吞吐能力、降低运维成本所采用的各项技术方案。。
本文介绍实时计算引擎在贝壳的应用与实践。
2017年10月19日,阿里巴巴的高级技术专家王绍翾(花名“大沙”)将为QCon上海的听众带来一场以大数据实时流计算与人工智能为主题的专题演讲,本专题将邀请来自腾讯、阿里、Facebook、Uber、Streamlio的多位一线专家分析实时流计算和人工智能领域的最新的技术成果、应用和趋势。本文整理自InfoQ对王绍翾的采访问答,他与我们分享了关于实时流计算的看法,并对选择Flink的原因、Blink对Flink所做的改进和优化、流数据SQL查询,以及阿里巴巴自研的基于Blink的在线机器学习平台Porsche等问题进行了解答。
本文分析了基于Kafka的两种计算引擎Spark和Flink的各自特点。
将流式图计算的门槛打下来
身处大数据时代,在数据库领域,我们要分析处理的数据越来越多,我们分析处理数据的速度也要越来越快,但是传统数据库基于磁盘的计算模型,已经难以满足我们的需求。幸运的是随着硬件的发展,内存设备的性能在不断提高,而价格却在不断下降。内存计算技术将带着我们“飞”起来! 内存计算(In-Memory Computing),实质上是 CPU 直接从内存而非硬盘上读取数据,并对数据进行计算、分析。在数据库上引入内存计算技术,意味着去除磁盘 IO 的消耗,利用内存随机访问的特性可以制定更高效的算法等等。这都极大的提高数据的处理速度。 目前很多商业数据库已经拥有了内存计算功能,如 SAP HANA、DB2 BLU、Oracle 12C、SQL Server 2014。但是商业数据库的价格毕竟不菲,在开源产品飞速发展的今天,利用开源的内存计算产品是一个好主意。
为了进一步丰富计算引擎的功能以及适用更多业务场景,51信用卡开源了核心库https://github.com/51nb/marble
Flink为何能受到全球企业和开发者的青睐?
技术详解阿里云开源图计算引擎GraphScope如何打破世界纪录
随着数据应用类型的愈加丰富和数据规模的不断扩大,单机早已无法满足超大规模数据计算和分析的需求,分布式才是如今大数据领域的核心关键词。
本文对 Spark 和 Flink 的技术与场景进行了全面分析与对比,且看下一代大数据计算引擎之争,谁主沉浮?后续作者还将撰写文章进一步探讨二者的开源生态、近期动态以及未来发展前景。
本文从五个方面介绍了RocketMQ Streams实时计算平台。
谷歌云平台lasS组件谷歌计算引擎(GCE)具备了Autoscaler功能。目前尚处于beta测试阶段的Autoscaler增加了云部署的灵活性。
腾讯分布式数据仓库(Tencent distributed Data Warehouse, 简称TDW)基于开源软件Hadoop和Hive进行构建,并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造,目前单集群最大规模达到5600台,每日作业数达到100多万,已经成为公司最大的离线数据处理平台。为了满足用户更加多样的计算需求,TDW也在向实时化方向发展,为用户提供更加高效、稳定、丰富的服务。
近日, Linkedin宣布开源其正在使用的大数据计算引擎Cubert,该框架提供了一种新的数据模型来组织数据,并使用诸如MeshJoin和Cube算法等算法来对组织后的数据进行计算,从而减轻了系统负荷和节省了CPU资源,最终提供给用户一个简单、高效的查询。
本文主要给大家介绍隐藏在华为云数据湖探索服务(后文简称DLI)背后的核心计算引擎——Spark。
本次分享介绍深度学习框架演进的历程。