2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

  • 2023-12-18
    北京
  • 本文字数:803 字

    阅读完需:约 3 分钟

大小:439.74K时长:02:30
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

QCon 全球软件开发大会,将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享,从作业帮现有架构面对的挑战出发,结合真实的业务场景,探讨相关数据湖仓技术方案和实践经验。


孙建业,曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下:


演讲:作业帮大数据湖仓架构和实践


随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。


演讲提纲:


  1. 现有架构的挑战

○ 作业帮现有数据架构

○ 架构缺陷及历史问题

  1. Iceberg 介绍

○ 元数据结构 & 特性

  1. 湖仓整体架构

○ 典型场景

○ 架构方案

  1. 湖仓实践

○ 采集入湖实践

○ 离线计算实践

  1. 展望和不足


听众收益点:


○ 作业帮的业务场景及可复制的湖仓架构设计

○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践


除上述演讲外,QCon 上海还将围绕 GenAI和通用大模型应用探索AI Agent 与行业融合应用的前景LLM 时代的性能优化智能化信创软件 IDE面向人工智能时代的架构性能工程:提升效率和创新的新方法等专题进行交流。


12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。


这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码,查看大会详细日程。咨询购票可联系票务经理 18514549229。



2023-12-18 11:3010655
用户头像

发布了 89 篇内容, 共 49.8 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

LabVIEW Arduino RS-485智能农业监测系统(项目篇—4)

不脱发的程序猿

传感器 智慧农业 LabVIEW Arduino RS-485智能农业监测系统

DOM

Jason199

DOM js 6月月更

redis内存优化

乌龟哥哥

6月月更

C语言中奇妙又有趣的符号——C语言运算(操作)符

未见花闻

6月月更

GetX 响应式状态管理简介

岛上码农

flutter ios 安卓 跨平台应用 6月月更

echo命令实用技巧

Nick

Docker 镜像源 echo 6月月更 tldr

我理解的微服务 -- 读《微服务设计模式》总结

潜水员

golang 微服务

618战报销冠谜底:“收割机”联想屠榜背后的三大利器是什么?

脑极体

【作业四 千万级学生管理系统的考试试卷存储方案】

wuli洋

ImportSelector与DeferredImportSelector的区别(spring4)

程序员欣宸

Java spring SpringFramework 6月月更

千万级学生管理系统试卷存储方案(架构实战营 模块四作业)

Gor

linux几个不常用但是很有用的命令

入门小站

Linux

JVM调优简要思想及简单案例-JVM分代模型

zarmnosaj

6月月更

Python 设计模式:原型模式

宇宙之一粟

设计模式 原型模式 6月月更

leetcode 542. 01 Matrix 01 矩阵(中等)

okokabcd

LeetCode 动态规划 数据结构与算法

千万级学生管理系统考试试卷存储方案

地下地上

架构实战营

在线多行文本行转列工具

入门小站

工具

【Python技能树共建】字符编码与解码

梦想橡皮擦

Python 6月月更

Java Core 「12」ReentrantLock 再探析

Samson

学习笔记 Java core 6月月更

架构实战营模块 4 作业

Roy

架构实战营

在线JSON转TSV工具

入门小站

工具

课程背景

IT蜗壳-Tango

6月月更

uni-app进阶之生命周期【day8】

恒山其若陋兮

6月月更

scanf的使用,cin和scanf的区别

工程师日月

6月月更

解决k8s调度不均衡问题

劼哥stone

Kubernetes 云原生 调度 调度不均衡 kube-scheduler

基于Redis sentinel的千万级学生管理系统的考试试卷存储方案

Geek_e8bfe4

远程办公三部曲 - 如何提高工作效率| 社区征文

耳东@Erdong

工作效率 远程办公 6月月更 初夏征文

wapper解析

卢卡多多

6月月更

架构实战营模块4作业

挖了蘑菇哩斯

架构实战营 存储方案

初创公司,如何拥有企业级Java脚手架

昵称不能为null

Java脚手架 企业级代码架构

【Spring 学习笔记(十四)】Spring AOP 通知中获取数据

倔强的牛角

Java spring 6月月更

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践_架构_徐晓博_InfoQ精选文章