【ArchSummit架构师峰会】探讨数据与人工智能相互驱动的关系>>> 了解详情
写点什么

数据处理平台

收录了 数据处理平台 频道下的 50 篇内容

边缘计算模式如何在数据处理平台中崭露头角?| InfoQ公开课
边缘计算模式如何在数据处理平台中崭露头角?| InfoQ 公开课

在边缘计算的场景中,数据在边缘生产、边缘 / 云端处理并能在边缘或者其他地方消费,完成闭环的数据生命周期,可以大大提高平台的灵活扩缩容能力。

快速搭建一超高性能的时序空间大数据处理平台丨ArchSummit
快速搭建一超高性能的时序空间大数据处理平台丨 ArchSummit

物联网、车联网的兴起,所采集的时序空间数据高速增长。Hadoop/Spark,但这些套件都是用来处理通用的非结构化数据的,因此在处理结构化的时序空间数据时,运行效率就大打折扣,而且因为集成多个组件,开发效率低,运维成本也很高。

快速搭建一超高性能的时序空间大数据处理平台
快速搭建一超高性能的时序空间大数据处理平台

本次分享介绍涛思数据设计的存储结构和时序数据处理模型。

360数据处理平台的架构演进及优化实践
360 数据处理平台的架构演进及优化实践

在当今的大数据时代,大数据计算引擎已经从原先最早的Hadoop生态系统演变到了第三代甚至是第四代计算引擎,比如Spark以及Flink等;存储引擎也是呈现多样化的发展,如支持MPP的关系型存储、分布式存储、时序数据库等。

Lyft 开源 Flyte:云原生机器学习和数据处理平台
Lyft 开源 Flyte:云原生机器学习和数据处理平台

Lyft 计划在未来数月向业界开源部分AI算法技术。

ArchSummit 主题演讲:Ashish Thusoo 介绍大数据发展趋势和 Facebook 的大数据处理平台

Ashishi Thusoo是Qubole 联合创始人兼CEO。Qubole是一个建设云平台进行数据分析和处理的创业企业。在创办Qubole之前,ASHISH负责Facebook数据基础设施团队。在他的领导下,团队创造了世界上最大的数据分析与处理平台。他也是Apache Hive项目的联合创始人,并作为该项目的Apache软件基金会的创始副总裁。在即将召开的ArchSummit上,他将分享他对于大数据相关技术趋势和演变的思考,以及Facebook的海量数据架构演变过程。现在报名ArchSummit可享超低折扣。

锚定数据处理几大痛点,企业如何利用数据云平台释放数据全部价值?
锚定数据处理几大痛点,企业如何利用数据云平台释放数据全部价值?

为什么数据云的概念在近几年备受关注?数据云领域有哪些前沿技术值得我们关注?

数据平台竞技场 2024:AI 或成为必杀技,但面临三个致命挑战
数据平台竞技场 2024:AI 或成为必杀技,但面临三个致命挑战

以 Hadoop 为基础的大数据体系架构已逐步陈旧,新一代的分析平台以及更发挥 AI 能力的数据平台架构仍有非常多的疑问还没有得到解答。

上海华瑞银行风险特征计算平台演进路线
上海华瑞银行风险特征计算平台演进路线

在数字化和大数据时代,银行业面临着前所未有的机遇与挑战。随着技术的发展,客户对金融服务的期望日益提高,而银行必须不断创新以满足这些需求。

对话黄东旭、关涛、李远策:数据引擎,One Size Fits All 真的能实现么?
对话黄东旭、关涛、李远策:数据引擎,One Size Fits All 真的能实现么?

近年来,一体化数据融合平台的概念逐渐受到关注。那么,真的可以使用一套解决方案应对所有场景吗?一体化数据平台有哪些主流选项?Lambda 与 Kappa 架构各有哪些优势和不足?企业该如何选择适合自己的解决方案?

专访李潇:数据智能平台,AI时代的Lakehouse架构
专访李潇:数据智能平台,AI 时代的 Lakehouse 架构

2023年,大数据引领者Databricks的最大进展

RocketMQ Connect 构建流式数据处理平台
RocketMQ Connect 构建流式数据处理平台

RocketMQ Connect 作为 RocketMQ 与其他系统间流式数据传输的重要工具,轻松将 RocketMQ 与其他存储技术进行集成,并实现低延迟流/批处理。

RocketMQ Connect
物联网多路数据处理基础上的云平台架构设计实践
物联网多路数据处理基础上的云平台架构设计实践

本次分享介绍物联网多路数据处理基础上的云平台架构设计。

苹果开源一个可提升Apache Spark向量处理速度的插件
苹果开源一个可提升 Apache Spark 向量处理速度的插件

苹果公司发布了一个开源插件,可以帮助Apache Spark更有效地执行向量搜索。

宁德核电推出全球参数量最大的核工业大模型|InfoQ 独家
宁德核电推出全球参数量最大的核工业大模型|InfoQ 独家

这是专为核工业领域打造的大语言模型,其参数规模达到 720 亿,拥有中国最大的核工业大模型语料库,训练语料超过 20 亿 token。该大模型旨在探索利用 AI 大模型解决核电行业面临的各种挑战,如知识管理不足、低脑力劳动过多、安全分析能力有待增强等。

代码人生攻略:程序员们如何为自己编织一份明朗未来?
代码人生攻略:程序员们如何为自己编织一份明朗未来?

2023年已经过去了,2024年对我们来说是一个新的开始。

时序数据在滴滴实时数据开发平台中的处理和应用
时序数据在滴滴实时数据开发平台中的处理和应用

本文主要介绍:时序数据如何与滴滴实时计算平台产生联系;当前使用的技术方案;基于当前技术方案能够达到的效果。

3个步骤,4大平台,搞定大规模数据处理
3 个步骤,4 大平台,搞定大规模数据处理

本文由百度智能云大数据平台技术架构师——李莅在百度开发者沙龙线上分享的演讲内容整理而成。本次分享围绕云原生数据湖架构的价值展开,深度数据湖计算和统一元数据的技术架构。希望开发者能够通过本文对一站式大数据处理平台构建有初步认识。

大数据
单集群1万节点!腾讯云大数据平台TBDS获得分布式批处理平台万节点能力认证
单集群 1 万节点!腾讯云大数据平台 TBDS 获得分布式批处理平台万节点能力认证

腾讯云大数据平台TBDS以单集群1万节点的超大规模,成功通过信通院第14批产品能力测评,成为本批次唯一通过大规模能力认证的厂商,树立行业新标杆。同时,腾讯云参与制定的多项标准在本次大会也正式发布。

TBDS
数据处理平台专题_资料-InfoQ中文网