写点什么

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

  • 2023-12-18
    北京
  • 本文字数:803 字

    阅读完需:约 3 分钟

大小:439.74K时长:02:30
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

QCon 全球软件开发大会,将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享,从作业帮现有架构面对的挑战出发,结合真实的业务场景,探讨相关数据湖仓技术方案和实践经验。


孙建业,曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下:


演讲:作业帮大数据湖仓架构和实践


随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。


演讲提纲:


  1. 现有架构的挑战

○ 作业帮现有数据架构

○ 架构缺陷及历史问题

  1. Iceberg 介绍

○ 元数据结构 & 特性

  1. 湖仓整体架构

○ 典型场景

○ 架构方案

  1. 湖仓实践

○ 采集入湖实践

○ 离线计算实践

  1. 展望和不足


听众收益点:


○ 作业帮的业务场景及可复制的湖仓架构设计

○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践


除上述演讲外,QCon 上海还将围绕 GenAI和通用大模型应用探索AI Agent 与行业融合应用的前景LLM 时代的性能优化智能化信创软件 IDE面向人工智能时代的架构性能工程:提升效率和创新的新方法等专题进行交流。


12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。


这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码,查看大会详细日程。咨询购票可联系票务经理 18514549229。



2023-12-18 11:3010675
用户头像

发布了 89 篇内容, 共 50.1 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

从挑战到突破:HBlock定义智算存储新范式!

天翼云开发者社区

人工智能 云计算 天翼云

智启新篇汇力共赢!天翼云赋能天府数谷焕新蝶变!

天翼云开发者社区

云计算 生态大会 天翼云

高效安全迁移:PG高可用集群实战方案深度解析

袋鼠云数栈

数据处理 数据库运维 数据迁移 迁移方案 数据迁移工具

用友BIP超级版合同全生命周期运营:销售驱动型企业数智化升级之路

用友BIP

数据流通从内循环到外循环,企业数据变现有多远?

用友BIP

AutoGLM:一句话控制手机电脑;英伟达新视觉压缩工具:Cosmos Tokenizer 丨 RTE 开发者日报

RTE开发者社区

分布式 Data Warebase - 探索数据系统物理极限

ProtonBase

分布式 数仓 database #数据库 #大数据

拥抱 OpenTelemetry:阿里云 Java Agent 演进实践

阿里巴巴云原生

阿里云 云原生

火山引擎边缘云出席第六届泛娱乐行业峰会,揭秘游戏行业"加速"新姿势

火山引擎边缘云

互联网 CDN 边缘计算 游戏 加速

ClkLog埋点分析系统-uni-app埋点上报攻略

ClkLog

开源 埋点 sdk 用户画像

什么是DNSSEC?一文读懂DNSSEC的工作原理和实际应用

防火墙后吃泡面

全球化| YappyPets:业务集中管控,驱动全球扩张新引擎

用友BIP

通义灵码走进北京大学创新课堂丨阿里云云原生 10 月产品月报

阿里巴巴云原生

阿里云 云原生

IoTDB 常见问题 Q&A 第一期

Apache IoTDB

长城上,低空下,北京联通点亮5G-A的时代星光

脑极体

通信

分布式 Data Warebase - 让数据涌现智能

ProtonBase

数据库 分布式 云原生 数仓 #大数据

什么是IM即时通讯?

BeeWorks

赋能国企数字化改革:WorkPlusIM即时通讯平台的自主可控之路

BeeWorks

IM即时通讯基础入门:新手读者必看指南

BeeWorks

新业财税资档一体化:实现业管合一就选用友BIP超级版

用友BIP

“天翼云息壤杯”高校AI大赛福建赛区启动!

天翼云开发者社区

云计算 AI 天翼云

企业常用人事薪酬系统推荐:8家精选系统评测

易成研发中心

如何选择OKR软件?这5款okr软件值得了解

易成研发中心

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践_架构_徐晓博_InfoQ精选文章