《2023中国云原生成熟度模型报告》清晰展现中国云原生技术发展成熟度现状! 了解详情
写点什么

大数据架构

收录了 大数据架构 频道下的 50 篇内容

快手大数据架构演进实录
快手大数据架构演进实录

快手大数据架构团队组建于2017年,短短三年间已搭建起一个万亿级规模的大数据架构体系。快手的大数据架构是怎样演进的?在春晚红包活动中遇到了哪些挑战,又是如何应对的?在Hadoop的应用上,快手有何经验可供业界参考?

透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史
透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史

大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。

经典大数据架构案例:酷狗音乐的大数据平台重构

本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典,而这篇讲解了对原来的架构上进行重构的工作内容,总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。

大数据架构如何做到流批一体?
大数据架构如何做到流批一体?

本文介绍大数据分析场景需要解决的技术挑战、主流大数据架构模式及其发展。

易观 CTO 郭炜:易观大数据架构的变迁

易观从传统的媒体出身,到现在技术产品收入占到总收入的一半以上,得益于易观的技术产品转型。易观 CTO 郭炜为大家带来易观大数据架构的变迁,从技术角度来讲述易观大数据技术架构从2015年到2017年变迁和2018年的规划及取得的成效。

独家 | 瓜子大数据架构首曝光:掩藏在“二手车”背后的技术思考
独家 | 瓜子大数据架构首曝光:掩藏在“二手车”背后的技术思考

这是瓜子大数据技术团队第一次对外技术采访,浅谈大数据架构及对云平台大数据服务选型的思考,有共性也有差异,个中原因值得探讨。

大数据架构:Push、Pull 还是 Search in Place

在Splunk峰会有个令人惊讶的共同主题,它是个和大数据架构相关的问题:“我应该使用那种方法和架构呢?Push(推送)、Pull(拉取)还是Search in Place(靠近数据搜索)?”

基于大数据的舆情分析系统架构(架构篇)
基于大数据的舆情分析系统架构(架构篇)

本文介绍了大数据舆情采集和分析系统的架构。

访谈与视频辑要:处理大数据——架构、算法与可视化

在本视频教程系列中,Paul Dix对大数据进行了探索实践。本教程的前5节课重点介绍了跨多个服务器系统对大批量XML数据进行的端到端处理,这些数据来自于真实的股票交易公告。在最后一节课中Paul讲解了开发可视化视图,从大数据的宏观分析中得到深刻见解。

大数据架构变革进行时:为什么腾讯看好Apache Iceberg?
大数据架构变革进行时:为什么腾讯看好 Apache Iceberg?

在基础软件开源化的趋势下,国内企业在数据湖技术点上的探索与跟进并不比国外企业落后太多

Airbnb 的大数据平台架构

Airbnb成立于2008年8月,拥有世界一流的客户服务和日益增长的用户社区。随着Airbnb的业务日益复杂,其大数据平台数据量也迎来了爆炸式增长。 本文为Airbnb公司工程师James Mayfield分析的Airbnb大数据平台构架,提供了详尽的思想和实施。

基于ZFS的Hadoop透明压缩
基于 ZFS 的 Hadoop 透明压缩

对集群数据进行合理的操作,能够节省集群的存储资源,提高存储资源利用率。

每日生产万亿消息数据入库,腾讯如何突破大数据分析架构瓶颈
每日生产万亿消息数据入库,腾讯如何突破大数据分析架构瓶颈

几千台的 Hadoop 集群,近百 P 级的存储总量,每日产生万亿的消息数据入库,需要针对几十亿 imei 手机设备去重,海量大数据背后,腾讯如何升级分析架构?

B端大数据应用的架构实践与思考
B 端大数据应用的架构实践与思考

我们在2018 QCon全球软件开发大会上海站的现场,InfoQ很荣幸地邀请到了国双科技 技术总经理何恺铎老师接受我们的采访。

百分点大数据技术团队:舆情平台架构实践与演进
百分点大数据技术团队:舆情平台架构实践与演进

现代社会每天都有大量信息产生,抖音、小红书等自媒体的普及,不断丰富着人们表达看法、传播诉求、分享信息的渠道和形式。

大数据平台架构方法论、模型与实践深度观察
大数据平台架构方法论、模型与实践深度观察

大数据架构发展到今天,批流矛盾早在前几年就显现了,各大互联网公司也早就遇到了这一矛盾。

大数据平台变革浪潮中,这家初创公司积累的值得借鉴的业务架构实践经验

诸葛io上线20个月,客户量从0到10,000,月有效行为数据处理量超过了100亿。 1,回顾1990年到2016年间,大数据平台经历的三次浪潮,; 2,诸葛io当前业务架构分析; 3,三次迭代的原因,以及得到的经验教训。

通过 Amazon Athena 进行无服务器架构的大数据分析(二)
通过 Amazon Athena 进行无服务器架构的大数据分析(二)

互联网时代带来了数据量的海量增长,数据驱动业务决策成为大势所趋。

架构师特刊:大数据平台架构架构师特刊:大数据平台架构
架构师特刊:大数据平台架构

本期技术特刊中我们总结了酷狗、美团、Airbnb的大数据平台架构实践范例,以及携程、IFTTT、卷皮等公司业务结合大数据平台的架构分析,希望读者能通过不同的角度从中收获到搭建大数据平台知识。

大数据架构之上

数据采集、数据存储、数据计算和查询、数据可视化及分析

大数据
架构
大数据架构专题_资料-InfoQ中文网