阅读数:1844 发布于:2020 年 8 月 22 日 10:00

更多 开源、运维、架构 相关课程,可下载【 极客时间 】App 免费领取 >

评论

发布
暂无评论
  • 如何在 1 个小时之内轻松构建一个 Serverless 实时数据分析平台

    数据分析平台,特别是实时数据分析,正在被越来越广泛的应用于各个行业。

    2019 年 11 月 19 日

  • 如何搭建一个可靠的监控系统?

    我以几个常见的监控系统实现方案,谈谈它们的实现原理,分别适用于什么场景,以及具体该如何做技术选型。

    2018 年 9 月 25 日

  • 大数据架构如何做到流批一体?

    本文介绍大数据分析场景需要解决的技术挑战、主流大数据架构模式及其发展。

    2019 年 7 月 9 日

  • 腾讯大数据平台纵览

    腾讯业务产品线众多,拥有海量的活跃用户,每天线上产生的数据超乎想象,必然会成为数据大户。特别是随着传统业务增长放缓,以及移动互联网时代的精细化运营,对于大数据分析和挖掘的重视程度高于以往任何时候,如何从大数据中获取高价值,已经成为大家关心的焦点问题。在这样的大背景下,为了公司各业务产品能够使用更丰富优质的数据服务,近年腾讯大数据平台得到迅猛发展。

    2014 年 8 月 20 日

  • 实时计算在有赞的实践——效率提升之路

    有赞是一个商家服务公司,提供全行业全场景的电商解决方案。在有赞,大量的业务场景依赖对实时数据的处理,作为一类基础技术组件,服务着有赞内部几十个业务产品,几百个实时计算任务,其中包括交易数据大屏,商品实时统计分析,日志平台,调用链,风控等多个业务场景,本文将介绍有赞实时计算当前的发展历程和当前的实时计算技术架构。

    2019 年 4 月 12 日

  • 巧用 Amazon EMR 节省数据分析成本

    Amazon EMR是云上的数据分析平台,通过Amazon EMR的图形化或命令行接口,用户可以快速搭建和部署基于Amazon EC2实例的数据分析系统,并能动态扩展集群。

    2019 年 11 月 18 日

  • 异构系统跨语言服务化初探

    从单体应用到 RPC 服务化、容器化,到后期的混合云应用以及跨语言支持,再到目前的 WeiboMesh,Motan RPC 在其中扮演了至关重要的角色。

    2018 年 3 月 19 日

  • 杠上 Spark、Flink?Kafka 为何转型流数据平台

    消息中间件系统(比如RabbitMQ、Kafka、Pulsar等)是现代实时数据或者流数据基础架构的关键环节。它通常作为一个数据管道,链接了各种业务前台和数据后台(比如数仓等)。**但是随着越来越多的企业应用开始采纳流计算作为数据的计算引擎,以及基础架构的容器化、云化和无服务器化(Serverless),这些消息系统也随之发生变化,逐步向流数据平台演进。**在这篇文章中,笔者根据自己在这个领域从业多年的经验,详细解读消息系统的演化历史,不同消息系统在基础设施变革的浪潮中面临的挑战,以及他们相应的优势和劣势,并对消息系统怎么跟已有的计算框架进行整合,以及对未来可能的发展方向进行探讨。

    2018 年 12 月 10 日

  • MapReduce 如何让数据完成一次旅行?

    上一期我讲了MapReduce既是编程模型又是计算框架,聊完编程模型,今天讨论MapReduce如何让数据完成一次旅行。

    2018 年 11 月 15 日

  • 为什么我们管 Yarn 叫作资源调度框架?

    在我们开始聊Yarn的实现原理前,有必要看看Yarn发展的过程,这对你理解Yarn的原理以及为什么被称为资源调度框架很有帮助。

    2018 年 11 月 17 日