写点什么

大数据采集技术架构

收录了 大数据采集技术架构 频道下的 50 篇内容

易龙出席 ArchSummit 深圳站,分享 vivo 大数据采集平台可观测实践话题
易龙出席 ArchSummit 深圳站,分享 vivo 大数据采集平台可观测实践话题

vivo 大数据采集接入平台架构和监控体系、vivo 大数据采集接入原来监控遇到的问题,以及在链路稳定性、链路数据质量和链路数据成本优化场景下基于可观测的技术方案和实践。

经典大数据架构案例:酷狗音乐的大数据平台重构

本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典,而这篇讲解了对原来的架构上进行重构的工作内容,总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。

独家揭秘:民生银行大数据体系架构设计与演进

近年来,随着大数据与人工智能相关技术的迅速发展,新技术逐步在全社会各行各业得到应用。银行业作为一个高度信息化的行业,首当其冲面临着互联网新技术应用的挑战。民生银行在 2013 年开始布局分布式、大数据及人工智能技术等领域,在全行凤凰计划的牵头下,逐步将新技术与我行发展战略业务实施策略进行了深度融合,为金融科技银行的发展奠定了扎实的基础。

三位一体的工业大数据综述

我们知道技术架构应由应用场景的特征来决定,就现状而言,工业大数据还处在产业的初级阶段,对工业大数据应用场景的认知还不太深入,但大数据在互联网的应用已具备成熟的技术体系和应用框架,因此,本文主要通过比较工业应用场景和互联网应用场景的差异性,期望能够修正互联网大数据的相关应用技术框架,以满足工业大数据落地对技术框架的要求。

透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史
透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史

大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。

昂贵、复杂、低效...中小型企业如何打破大数据技术栈困境?
昂贵、复杂、低效... 中小型企业如何打破大数据技术栈困境?

 数字经济,已经成为当今经济发展中非常重要的一部分。 与农业经济、工业经济如出一辙,数字经济活动需要土地、劳动力、资本、技术以及相应配套基础设施。

百分点大数据技术团队:万亿级大数据监控平台建设实践
百分点大数据技术团队:万亿级大数据监控平台建设实践

随着互联网业务的迅速发展,用户对系统的要求也越来越高,而做好监控为系统保驾护航,能有效提高系统的可靠性、可用性及用户体验。

如何构建一个通用的数据中台 | 荐书
如何构建一个通用的数据中台 | 荐书

本文介绍如何构建通用数据中台的经验。

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。

从“分散”到“统一”,中控技术利用 SeaTunnel 构建高效数据采集框架,核心数据同步任务 0 故障运行!

本文将深入探讨中控技术基于 Apache SeaTunnel 构建企业级数据采集框架的实践,重点分享集群高可用配置、性能调优、容错机制及数据质量监控等方面的具体思考与方案。

开源
数据同步
数据集成
Apache SeaTunnel
中控技术
MyEMS 核心架构解析:从数据采集到智能决策的完整技术栈
MyEMS 核心架构解析:从数据采集到智能决策的完整技术栈

在 “双碳” 目标与工业精细化管理需求驱动下,能源管理系统(EMS)已成为企业降本增效、绿色转型的核心工具。MyEMS(My Energy Management System)作为开源化、可定制的能源管理解决方案,凭借模块化架构与全流程技术覆盖能力,实现从能源数据 “采、传、存

开源
开源能源管理系统
大数据的未来在哪里?从“吃鸡”游戏开始说起
大数据的未来在哪里?从“吃鸡”游戏开始说起

我们今天不讲那些大家耳熟能详的经典应用案例,而是从笔者一个“另类”的大数据体验说起。

从“三无”数据到智能制造,工业大数据如何落地

从“三无”数据到智能制造,工业大数据如何落地

从数仓到数据中台,谈技术选型最优解
从数仓到数据中台,谈技术选型最优解

本文介绍从数仓到数据中台的技术选型实践。

大数据的过去、现在和未来:解读《大数据四十二条》
大数据的过去、现在和未来:解读《大数据四十二条》

本文是对中国信息通信研究院云计算与大数据研究所所长何宝宏所作《大数据四十二条》的解读。

从数据中洞察智慧和价值,索信达联合 ThoughtWorks 探索数据技能提升的方法论
从数据中洞察智慧和价值,索信达联合 ThoughtWorks 探索数据技能提升的方法论

数据是现代企业的生命线。年湾区一位中等水平的数据工程师的年薪。万元的水平,百万以上比比皆是。这一岗位的热门程度可见一斑。

全面解析应用运维分布式追踪技术
全面解析应用运维分布式追踪技术

业务的调用关系越来越复杂。

QCon 北京:构建大数据生态需要哪些核心技术?

2016年QCon全球软件开发大会北京站为期三天的会议已圆满结束,参会者对整体内容设置及安排反馈良好。这里我们梳理出22号“大数据生态构建”厂商共建专场的重点演讲内容,为没能到现场聆听的小伙伴们奉上饱满的干货内容。

企业数据能力测评:认清现状,布局未来丨建设数据中台系列(一)
企业数据能力测评:认清现状,布局未来丨建设数据中台系列(一)

本文试图帮助企业决策者和IT负责人解答“我的企业目前在数据应用上处于什么水平?接下来应该向哪个方向努力?”这一问题

金融领域大模型数据集管理与应用|AICon 上海
金融领域大模型数据集管理与应用|AICon 上海

涵盖多源异构数据整合、CoT 数据构建及多模态数据应用。

大数据采集技术架构专题_资料-InfoQ中文网