现场实操破解开发瓶颈，「2023 百度云智大会·智算大会开发者沙龙」不容错过！了解详情 



 写点什么

计算引擎

收录了计算引擎频道下的 50 篇内容

蚂蚁金服新计算实践：基于 Ray 的融合计算引擎

你还在纠结流计算引擎用哪个好，蚂蚁金服已经开始发力融合计算了

作者 : 蔡芳芳

2019-11-26

6558

如何用 Spark 计算引擎执行 FATE 联邦学习任务？

FATE 1.5 LTS 版本支持使用 Spark 作为底层的计算引擎，本文将对其实现细节以及使用进行简单介绍，方便用户在实际的使用过程中进行调优或者排查错误。

作者 : 陈家豪

2021-02-03

美团 OCTO 万亿级数据中心计算引擎技术解析

本文介绍 Watt 计算引擎的演进历程及架构设计，以及其全面提升计算能力、吞吐能力、降低运维成本所采用的各项技术方案。。

作者 : 继东

2020-05-05

实时计算引擎在贝壳的应用与实践

本文介绍实时计算引擎在贝壳的应用与实践。

作者 : DataFunTalk

2019-11-16

1433

阿里新一代计算引擎 Blink 与 SQL 和机器学习的二三事

2017年10月19日，阿里巴巴的高级技术专家王绍翾（花名“大沙”）将为QCon上海的听众带来一场以大数据实时流计算与人工智能为主题的专题演讲，本专题将邀请来自腾讯、阿里、Facebook、Uber、Streamlio的多位一线专家分析实时流计算和人工智能领域的最新的技术成果、应用和趋势。本文整理自InfoQ对王绍翾的采访问答，他与我们分享了关于实时流计算的看法，并对选择Flink的原因、Blink对Flink所做的改进和优化、流数据SQL查询，以及阿里巴巴自研的基于Blink的在线机器学习平台Porsche等问题进行了解答。

作者 : 蔡芳芳

2017-10-11

2504

基于 Kafka 的实时计算引擎如何选择？Spark or Flink ？

本文分析了基于Kafka的两种计算引擎Spark和Flink的各自特点。

作者 : DataFunTalk

2019-06-13

10860

落地百余场景、扛过双 11，蚂蚁 TuGraph 流式图计算引擎正式开源！

将流式图计算的门槛打下来

作者 : 赵钰莹

06-13

基于 PostgreSQL 的内存计算引擎，来自 Lenovo 的设计开发经验

身处大数据时代，在数据库领域，我们要分析处理的数据越来越多，我们分析处理数据的速度也要越来越快，但是传统数据库基于磁盘的计算模型，已经难以满足我们的需求。幸运的是随着硬件的发展，内存设备的性能在不断提高，而价格却在不断下降。内存计算技术将带着我们“飞”起来！内存计算（In-Memory Computing），实质上是 CPU 直接从内存而非硬盘上读取数据，并对数据进行计算、分析。在数据库上引入内存计算技术，意味着去除磁盘 IO 的消耗，利用内存随机访问的特性可以制定更高效的算法等等。这都极大的提高数据的处理速度。目前很多商业数据库已经拥有了内存计算功能，如 SAP HANA、DB2 BLU、Oracle 12C、SQL Server 2014。但是商业数据库的价格毕竟不菲，在开源产品飞速发展的今天，利用开源的内存计算产品是一个好主意。

作者 : 联想数据库团队

2017-06-20

1949

51 信用卡金融风控场景下实时计算引擎的设计与实践

为了进一步丰富计算引擎的功能以及适用更多业务场景，51信用卡开源了核心库https://github.com/51nb/marble

作者 : 周来

2019-05-20

5222

八年“老网红”Flink：揭秘实时流计算引擎全球化落地的演进历程

Flink为何能受到全球企业和开发者的青睐？

作者 : 郑思宇

03-22

用 Rust 编写核心组件！独家揭露阿里云开源 GraphScope 如何成为全球最快图计算引擎

技术详解阿里云开源图计算引擎GraphScope如何打破世界纪录

作者 : Tina

08-22

为什么已有 Spark 和 Dask，阿里还要开源自研分布式科学计算引擎 Mars？

随着数据应用类型的愈加丰富和数据规模的不断扩大，单机早已无法满足超大规模数据计算和分析的需求，分布式才是如今大数据领域的核心关键词。

作者 : 蔡芳芳

2019-09-17

2321

Spark 比拼 Flink：下一代大数据计算引擎之争，谁主沉浮？

本文对 Spark 和 Flink 的技术与场景进行了全面分析与对比，且看下一代大数据计算引擎之争，谁主沉浮？后续作者还将撰写文章进一步探讨二者的开源生态、近期动态以及未来发展前景。

作者 : 王海涛

2018-08-02

14261

RocketMQ Streams：将轻量级实时计算引擎融合进消息系统

本文从五个方面介绍了RocketMQ Streams实时计算平台。

作者 : 袁小栋程君杰

2021-12-06

谷歌计算引擎全面提供 Autoscaler 服务

谷歌云平台lasS组件谷歌计算引擎（GCE）具备了Autoscaler功能。目前尚处于beta测试阶段的Autoscaler增加了云部署的灵活性。

作者 : Janakiram MSV 译者: 谢丽

2014-11-20

902

腾讯大数据之 TDW 计算引擎解析——Shuffle

腾讯分布式数据仓库（Tencent distributed Data Warehouse, 简称TDW）基于开源软件Hadoop和Hive进行构建，并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造，目前单集群最大规模达到5600台，每日作业数达到100多万，已经成为公司最大的离线数据处理平台。为了满足用户更加多样的计算需求，TDW也在向实时化方向发展，为用户提供更加高效、稳定、丰富的服务。

作者 : 腾讯

2014-09-18

623