【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

大数据架构

收录了 大数据架构 频道下的 50 篇内容

快手大数据架构演进实录
快手大数据架构演进实录

快手大数据架构团队组建于2017年,短短三年间已搭建起一个万亿级规模的大数据架构体系。快手的大数据架构是怎样演进的?在春晚红包活动中遇到了哪些挑战,又是如何应对的?在Hadoop的应用上,快手有何经验可供业界参考?

透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史
透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史

大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。

经典大数据架构案例:酷狗音乐的大数据平台重构

本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典,而这篇讲解了对原来的架构上进行重构的工作内容,总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。

大数据架构如何做到流批一体?
大数据架构如何做到流批一体?

本文介绍大数据分析场景需要解决的技术挑战、主流大数据架构模式及其发展。

易观 CTO 郭炜:易观大数据架构的变迁

易观从传统的媒体出身,到现在技术产品收入占到总收入的一半以上,得益于易观的技术产品转型。易观 CTO 郭炜为大家带来易观大数据架构的变迁,从技术角度来讲述易观大数据技术架构从2015年到2017年变迁和2018年的规划及取得的成效。

独家 | 瓜子大数据架构首曝光:掩藏在“二手车”背后的技术思考
独家 | 瓜子大数据架构首曝光:掩藏在“二手车”背后的技术思考

这是瓜子大数据技术团队第一次对外技术采访,浅谈大数据架构及对云平台大数据服务选型的思考,有共性也有差异,个中原因值得探讨。

大数据架构:Push、Pull 还是 Search in Place

在Splunk峰会有个令人惊讶的共同主题,它是个和大数据架构相关的问题:“我应该使用那种方法和架构呢?Push(推送)、Pull(拉取)还是Search in Place(靠近数据搜索)?”

基于大数据的舆情分析系统架构(架构篇)
基于大数据的舆情分析系统架构(架构篇)

本文介绍了大数据舆情采集和分析系统的架构。

访谈与视频辑要:处理大数据——架构、算法与可视化

在本视频教程系列中,Paul Dix对大数据进行了探索实践。本教程的前5节课重点介绍了跨多个服务器系统对大批量XML数据进行的端到端处理,这些数据来自于真实的股票交易公告。在最后一节课中Paul讲解了开发可视化视图,从大数据的宏观分析中得到深刻见解。

大数据架构变革进行时:为什么腾讯看好Apache Iceberg?
大数据架构变革进行时:为什么腾讯看好 Apache Iceberg?

在基础软件开源化的趋势下,国内企业在数据湖技术点上的探索与跟进并不比国外企业落后太多

Airbnb 的大数据平台架构

Airbnb成立于2008年8月,拥有世界一流的客户服务和日益增长的用户社区。随着Airbnb的业务日益复杂,其大数据平台数据量也迎来了爆炸式增长。 本文为Airbnb公司工程师James Mayfield分析的Airbnb大数据平台构架,提供了详尽的思想和实施。

每日生产万亿消息数据入库,腾讯如何突破大数据分析架构瓶颈
每日生产万亿消息数据入库,腾讯如何突破大数据分析架构瓶颈

几千台的 Hadoop 集群,近百 P 级的存储总量,每日产生万亿的消息数据入库,需要针对几十亿 imei 手机设备去重,海量大数据背后,腾讯如何升级分析架构?

数据湖与数据仓库的新未来:阿里提出湖仓一体架构
数据湖与数据仓库的新未来:阿里提出湖仓一体架构

近几年,随着数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么?本文作者来自阿里巴巴计算平台部门,在深度参与阿里巴巴大数据/数据中台领域建设之后,将对数据湖和数据仓库的来龙去脉进行深入剖析,阐述两者融合演进的新方向——湖仓一体。

滴滴亿级TPS数据通道架构实践
滴滴亿级 TPS 数据通道架构实践

本次分享介绍滴滴在数据通道的架构过程中,踩过的坑、架构的演进、背后的思考。

B端大数据应用的架构实践与思考
B 端大数据应用的架构实践与思考

我们在2018 QCon全球软件开发大会上海站的现场,InfoQ很荣幸地邀请到了国双科技 技术总经理何恺铎老师接受我们的采访。

百分点大数据技术团队:舆情平台架构实践与演进
百分点大数据技术团队:舆情平台架构实践与演进

现代社会每天都有大量信息产生,抖音、小红书等自媒体的普及,不断丰富着人们表达看法、传播诉求、分享信息的渠道和形式。

OPPO数仓与数据湖融合架构升级的实践与思考
OPPO 数仓与数据湖融合架构升级的实践与思考

对话OPPO鲍永成:没有完备的数据体系,空谈湖仓之争没意义

爱奇艺 VP 孙斌,确认担任 QCon 现代数据架构演进专题出品人
爱奇艺 VP 孙斌,确认担任 QCon 现代数据架构演进专题出品人

在开源、云、AIGC 等技术的影响下,大数据架构正向现代数据架构演进。

专访李潇:数据智能平台,AI时代的Lakehouse架构
专访李潇:数据智能平台,AI 时代的 Lakehouse 架构

2023年,大数据引领者Databricks的最大进展

大数据平台架构方法论、模型与实践深度观察
大数据平台架构方法论、模型与实践深度观察

大数据架构发展到今天,批流矛盾早在前几年就显现了,各大互联网公司也早就遇到了这一矛盾。

大数据架构专题_资料-InfoQ中文网