收录了 大数据架构 频道下的 50 篇内容
快手大数据架构团队组建于2017年,短短三年间已搭建起一个万亿级规模的大数据架构体系。快手的大数据架构是怎样演进的?在春晚红包活动中遇到了哪些挑战,又是如何应对的?在Hadoop的应用上,快手有何经验可供业界参考?
大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。
本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典,而这篇讲解了对原来的架构上进行重构的工作内容,总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。
本文介绍大数据分析场景需要解决的技术挑战、主流大数据架构模式及其发展。
易观从传统的媒体出身,到现在技术产品收入占到总收入的一半以上,得益于易观的技术产品转型。易观 CTO 郭炜为大家带来易观大数据架构的变迁,从技术角度来讲述易观大数据技术架构从2015年到2017年变迁和2018年的规划及取得的成效。
这是瓜子大数据技术团队第一次对外技术采访,浅谈大数据架构及对云平台大数据服务选型的思考,有共性也有差异,个中原因值得探讨。
在Splunk峰会有个令人惊讶的共同主题,它是个和大数据架构相关的问题:“我应该使用那种方法和架构呢?Push(推送)、Pull(拉取)还是Search in Place(靠近数据搜索)?”
本文介绍了大数据舆情采集和分析系统的架构。
在本视频教程系列中,Paul Dix对大数据进行了探索实践。本教程的前5节课重点介绍了跨多个服务器系统对大批量XML数据进行的端到端处理,这些数据来自于真实的股票交易公告。在最后一节课中Paul讲解了开发可视化视图,从大数据的宏观分析中得到深刻见解。
在基础软件开源化的趋势下,国内企业在数据湖技术点上的探索与跟进并不比国外企业落后太多
Airbnb成立于2008年8月,拥有世界一流的客户服务和日益增长的用户社区。随着Airbnb的业务日益复杂,其大数据平台数据量也迎来了爆炸式增长。 本文为Airbnb公司工程师James Mayfield分析的Airbnb大数据平台构架,提供了详尽的思想和实施。
对集群数据进行合理的操作,能够节省集群的存储资源,提高存储资源利用率。
几千台的 Hadoop 集群,近百 P 级的存储总量,每日产生万亿的消息数据入库,需要针对几十亿 imei 手机设备去重,海量大数据背后,腾讯如何升级分析架构?
我们在2018 QCon全球软件开发大会上海站的现场,InfoQ很荣幸地邀请到了国双科技 技术总经理何恺铎老师接受我们的采访。
现代社会每天都有大量信息产生,抖音、小红书等自媒体的普及,不断丰富着人们表达看法、传播诉求、分享信息的渠道和形式。
大数据架构发展到今天,批流矛盾早在前几年就显现了,各大互联网公司也早就遇到了这一矛盾。
诸葛io上线20个月,客户量从0到10,000,月有效行为数据处理量超过了100亿。 1,回顾1990年到2016年间,大数据平台经历的三次浪潮,; 2,诸葛io当前业务架构分析; 3,三次迭代的原因,以及得到的经验教训。
互联网时代带来了数据量的海量增长,数据驱动业务决策成为大势所趋。
本期技术特刊中我们总结了酷狗、美团、Airbnb的大数据平台架构实践范例,以及携程、IFTTT、卷皮等公司业务结合大数据平台的架构分析,希望读者能通过不同的角度从中收获到搭建大数据平台知识。