收录了 数据处理平台 频道下的 50 篇内容
在边缘计算的场景中,数据在边缘生产、边缘 / 云端处理并能在边缘或者其他地方消费,完成闭环的数据生命周期,可以大大提高平台的灵活扩缩容能力。
物联网、车联网的兴起,所采集的时序空间数据高速增长。Hadoop/Spark,但这些套件都是用来处理通用的非结构化数据的,因此在处理结构化的时序空间数据时,运行效率就大打折扣,而且因为集成多个组件,开发效率低,运维成本也很高。
本次分享介绍涛思数据设计的存储结构和时序数据处理模型。
在当今的大数据时代,大数据计算引擎已经从原先最早的Hadoop生态系统演变到了第三代甚至是第四代计算引擎,比如Spark以及Flink等;存储引擎也是呈现多样化的发展,如支持MPP的关系型存储、分布式存储、时序数据库等。
Lyft 计划在未来数月向业界开源部分AI算法技术。
Ashishi Thusoo是Qubole 联合创始人兼CEO。Qubole是一个建设云平台进行数据分析和处理的创业企业。在创办Qubole之前,ASHISH负责Facebook数据基础设施团队。在他的领导下,团队创造了世界上最大的数据分析与处理平台。他也是Apache Hive项目的联合创始人,并作为该项目的Apache软件基金会的创始副总裁。在即将召开的ArchSummit上,他将分享他对于大数据相关技术趋势和演变的思考,以及Facebook的海量数据架构演变过程。现在报名ArchSummit可享超低折扣。
为什么数据云的概念在近几年备受关注?数据云领域有哪些前沿技术值得我们关注?
以 Hadoop 为基础的大数据体系架构已逐步陈旧,新一代的分析平台以及更发挥 AI 能力的数据平台架构仍有非常多的疑问还没有得到解答。
在全球能源转型的大背景下,新能源产业正迎来前所未有的发展机遇。随着国家对可再生能源的政策支持和市场需求的不断增长,风电、光伏和储能等新能源项目如雨后春笋般蓬勃发展。然而,随之而来的数据处理与管理挑战也日益凸显。面对海量的设备运行数据,如何实
RocketMQ Connect 作为 RocketMQ 与其他系统间流式数据传输的重要工具,轻松将 RocketMQ 与其他存储技术进行集成,并实现低延迟流/批处理。
本次分享介绍物联网多路数据处理基础上的云平台架构设计。
以银行和证券为代表的金融机构在数据资产应用过程中,要如何解决众多痛点和难题?
深入探讨大数据技术的内存扩容、缩容策略,详尽解析了故障诊断与问题排查的方法论,更不乏数据迁移的实战技巧与最佳实践。
数据库近20年总结与展望:“历史总是不断轮回”
#DTCC#2024 年 8 月 22 日 -24 日,由 IT168 联合旗下 ITPUB、ChinaUnix 两大技术社区主办的第 15 届中国数据库技术大会(DTCC2024)在北京隆重召开。酷克数据(HashData)研发副总裁杨瑜受邀出席数据库内核+技术创新专场,并正式为发布了 HashData Enterpri
本文主要介绍:时序数据如何与滴滴实时计算平台产生联系;当前使用的技术方案;基于当前技术方案能够达到的效果。
本文由百度智能云大数据平台技术架构师——李莅在百度开发者沙龙线上分享的演讲内容整理而成。本次分享围绕云原生数据湖架构的价值展开,深度数据湖计算和统一元数据的技术架构。希望开发者能够通过本文对一站式大数据处理平台构建有初步认识。
6月28日,在“2022大数据产业峰会”上,腾讯云大数据平台TBDS以单集群1万节点的超大规模,成功通过信通院第14批产品能力测评,成为本批次唯一通过大规模能力认证的厂商,树立行业新标杆。同时,腾讯云参与制定的多项标准在本次大会也正式发布。
腾讯云大数据平台TBDS以单集群1万节点的超大规模,成功通过信通院第14批产品能力测评,成为本批次唯一通过大规模能力认证的厂商,树立行业新标杆。同时,腾讯云参与制定的多项标准在本次大会也正式发布。
从Apache Kafka的传统发布订阅系统,到相关的流处理框架,例如Apache Samza,Apache Storm,Apache Flink,都适用于大多数工作在基本决策能力、运行效率、支撑的数据规模和稳定性方面的需求。