写点什么

数据处理平台

收录了 数据处理平台 频道下的 50 篇内容

边缘计算模式如何在数据处理平台中崭露头角?| InfoQ公开课
边缘计算模式如何在数据处理平台中崭露头角?| InfoQ 公开课

在边缘计算的场景中,数据在边缘生产、边缘 / 云端处理并能在边缘或者其他地方消费,完成闭环的数据生命周期,可以大大提高平台的灵活扩缩容能力。

快速搭建一超高性能的时序空间大数据处理平台丨ArchSummit
快速搭建一超高性能的时序空间大数据处理平台丨 ArchSummit

物联网、车联网的兴起,所采集的时序空间数据高速增长。Hadoop/Spark,但这些套件都是用来处理通用的非结构化数据的,因此在处理结构化的时序空间数据时,运行效率就大打折扣,而且因为集成多个组件,开发效率低,运维成本也很高。

快速搭建一超高性能的时序空间大数据处理平台
快速搭建一超高性能的时序空间大数据处理平台

本次分享介绍涛思数据设计的存储结构和时序数据处理模型。

360数据处理平台的架构演进及优化实践
360 数据处理平台的架构演进及优化实践

在当今的大数据时代,大数据计算引擎已经从原先最早的Hadoop生态系统演变到了第三代甚至是第四代计算引擎,比如Spark以及Flink等;存储引擎也是呈现多样化的发展,如支持MPP的关系型存储、分布式存储、时序数据库等。

Lyft 开源 Flyte:云原生机器学习和数据处理平台
Lyft 开源 Flyte:云原生机器学习和数据处理平台

Lyft 计划在未来数月向业界开源部分AI算法技术。

ArchSummit 主题演讲:Ashish Thusoo 介绍大数据发展趋势和 Facebook 的大数据处理平台

Ashishi Thusoo是Qubole 联合创始人兼CEO。Qubole是一个建设云平台进行数据分析和处理的创业企业。在创办Qubole之前,ASHISH负责Facebook数据基础设施团队。在他的领导下,团队创造了世界上最大的数据分析与处理平台。他也是Apache Hive项目的联合创始人,并作为该项目的Apache软件基金会的创始副总裁。在即将召开的ArchSummit上,他将分享他对于大数据相关技术趋势和演变的思考,以及Facebook的海量数据架构演变过程。现在报名ArchSummit可享超低折扣。

锚定数据处理几大痛点,企业如何利用数据云平台释放数据全部价值?
锚定数据处理几大痛点,企业如何利用数据云平台释放数据全部价值?

为什么数据云的概念在近几年备受关注?数据云领域有哪些前沿技术值得我们关注?

数据平台竞技场 2024:AI 或成为必杀技,但面临三个致命挑战
数据平台竞技场 2024:AI 或成为必杀技,但面临三个致命挑战

以 Hadoop 为基础的大数据体系架构已逐步陈旧,新一代的分析平台以及更发挥 AI 能力的数据平台架构仍有非常多的疑问还没有得到解答。

替换传统数据处理平台,TDengine 与华风数据达成合作
替换传统数据处理平台,TDengine 与华风数据达成合作

在全球能源转型的大背景下,新能源产业正迎来前所未有的发展机遇。随着国家对可再生能源的政策支持和市场需求的不断增长,风电、光伏和储能等新能源项目如雨后春笋般蓬勃发展。然而,随之而来的数据处理与管理挑战也日益凸显。面对海量的设备运行数据,如何实

数据库
tdengine
时序数据库
RocketMQ Connect 构建流式数据处理平台
RocketMQ Connect 构建流式数据处理平台

RocketMQ Connect 作为 RocketMQ 与其他系统间流式数据传输的重要工具,轻松将 RocketMQ 与其他存储技术进行集成,并实现低延迟流/批处理。

RocketMQ Connect
物联网多路数据处理基础上的云平台架构设计实践
物联网多路数据处理基础上的云平台架构设计实践

本次分享介绍物联网多路数据处理基础上的云平台架构设计。

大模型背景下,从数据资产化到数据智能应用要分几步?
大模型背景下,从数据资产化到数据智能应用要分几步?

以银行和证券为代表的金融机构在数据资产应用过程中,要如何解决众多痛点和难题?

Kafka集群升级项目实施方案,打造高效数据处理平台
Kafka 集群升级项目实施方案,打造高效数据处理平台

深入探讨大数据技术的内存扩容、缩容策略,详尽解析了故障诊断与问题排查的方法论,更不乏数据迁移的实战技巧与最佳实践。

kafka
hadoop
cloudera
集群
大数据运维
图灵奖数据库大师 Stonebraker 师徒对数据库近 20 年发展与展望的 2 万字论文
图灵奖数据库大师 Stonebraker 师徒对数据库近 20 年发展与展望的 2 万字论文

数据库近20年总结与展望:“历史总是不断轮回”

DTCC2024|HashData Enterprise 4.0 正式发布:构建云原生统一数据处理平台
DTCC2024|HashData Enterprise 4.0 正式发布:构建云原生统一数据处理平台

#DTCC#2024 年 8 月 22 日 -24 日,由 IT168 联合旗下 ITPUB、ChinaUnix 两大技术社区主办的第 15 届中国数据库技术大会(DTCC2024)在北京隆重召开。酷克数据(HashData)研发副总裁杨瑜受邀出席数据库内核+技术创新专场,并正式为发布了 HashData Enterpri

时序数据在滴滴实时数据开发平台中的处理和应用
时序数据在滴滴实时数据开发平台中的处理和应用

本文主要介绍:时序数据如何与滴滴实时计算平台产生联系;当前使用的技术方案;基于当前技术方案能够达到的效果。

3个步骤,4大平台,搞定大规模数据处理
3 个步骤,4 大平台,搞定大规模数据处理

本文由百度智能云大数据平台技术架构师——李莅在百度开发者沙龙线上分享的演讲内容整理而成。本次分享围绕云原生数据湖架构的价值展开,深度数据湖计算和统一元数据的技术架构。希望开发者能够通过本文对一站式大数据处理平台构建有初步认识。

大数据
单集群 1 万节点! 腾讯云大数据平台 TBDS 获得分布式批处理平台万节点能力认证

6月28日,在“2022大数据产业峰会”上,腾讯云大数据平台TBDS以单集群1万节点的超大规模,成功通过信通院第14批产品能力测评,成为本批次唯一通过大规模能力认证的厂商,树立行业新标杆。同时,腾讯云参与制定的多项标准在本次大会也正式发布。

单集群1万节点!腾讯云大数据平台TBDS获得分布式批处理平台万节点能力认证
单集群 1 万节点!腾讯云大数据平台 TBDS 获得分布式批处理平台万节点能力认证

腾讯云大数据平台TBDS以单集群1万节点的超大规模,成功通过信通院第14批产品能力测评,成为本批次唯一通过大规模能力认证的厂商,树立行业新标杆。同时,腾讯云参与制定的多项标准在本次大会也正式发布。

TBDS
使用内存NewSQL数据平台来处理实时数据流的三个好处
使用内存 NewSQL 数据平台来处理实时数据流的三个好处

从Apache Kafka的传统发布订阅系统,到相关的流处理框架,例如Apache Samza,Apache Storm,Apache Flink,都适用于大多数工作在基本决策能力、运行效率、支撑的数据规模和稳定性方面的需求。

Apache
数据库
sql
VoltDB
数据处理平台专题_资料-InfoQ中文网