2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

  • 2023-12-18
    北京
  • 本文字数:803 字

    阅读完需:约 3 分钟

大小:439.74K时长:02:30
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

QCon 全球软件开发大会,将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享,从作业帮现有架构面对的挑战出发,结合真实的业务场景,探讨相关数据湖仓技术方案和实践经验。


孙建业,曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下:


演讲:作业帮大数据湖仓架构和实践


随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。


演讲提纲:


  1. 现有架构的挑战

○ 作业帮现有数据架构

○ 架构缺陷及历史问题

  1. Iceberg 介绍

○ 元数据结构 & 特性

  1. 湖仓整体架构

○ 典型场景

○ 架构方案

  1. 湖仓实践

○ 采集入湖实践

○ 离线计算实践

  1. 展望和不足


听众收益点:


○ 作业帮的业务场景及可复制的湖仓架构设计

○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践


除上述演讲外,QCon 上海还将围绕 GenAI和通用大模型应用探索AI Agent 与行业融合应用的前景LLM 时代的性能优化智能化信创软件 IDE面向人工智能时代的架构性能工程:提升效率和创新的新方法等专题进行交流。


12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。


这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码,查看大会详细日程。咨询购票可联系票务经理 18514549229。



2023-12-18 11:3010613
用户头像

发布了 89 篇内容, 共 49.4 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

云原生网络趋势 | K8s托管整个基础设施

叶秋学长

云原生 11月月更 网络趋势 云原生系列

微博评论高性能高可用计算架构

π

前端leetcde算法面试套路之双指针

js2030code

JavaScript LeetCode

安全左移移了么

I

安全架构 安全左移

安全规范建设指北

I

安全架构 策略 安全规范

跟着卷卷龙一起学Camera--噪声与去噪03

卷卷龙

ISP camera 11月月更

跟着卷卷龙一起学Camera--噪声与去噪04

卷卷龙

ISP camera 11月月更

移动应用的手动测试策略

FunTester

pytorch实现空洞卷积+残差网络实验(torch实现

Studying_swz

深度学习 11月月更

一比一手写迷你版vue,彻底搞懂vue运行机制

hellocoder2029

一文彻底搞懂前端缓存机制

hellocoder2029

JavaScript

JavaScript刷LeetCode拿offer-位运算

Geek_07a724

JavaScript LeetCode

跟着卷卷龙一起学Camera--噪声与去噪02

卷卷龙

ISP camera 11月月更

深入理解Node.js的进程与子进程

coder2028

node.js

一文读懂Js中的this指向

hellocoder2029

JavaScript

架构实战训练营模块 5 作业

Geek_b35d92

微博评论 微博

Web中间件常见漏洞总结

网络安全学海

黑客 网络安全 信息安全 渗透测试 漏洞挖掘

用javascript分类刷leetcode3.动态规划(图文视频讲解)

Geek_07a724

JavaScript LeetCode

融云全球社交泛娱乐洞察,「视频社交」为什么好赚钱,难出圈?

融云 RongCloud

视频社交

现代化安全产品

I

安全产品设计 安全架构

设计模式之美--接口和抽象类区别

GalaxyCreater

设计模式

算法题学习---链表相加(二)

桑榆

算法题 11月月更

什么是无线通信协议?无线通信协议有哪些典型的协议?

wljslmz

wifi 无线通信 蓝牙 11月月更

图解KafkaConsumer SyncGroupRequest请求流程

石臻臻的杂货铺

kafka Kafka实战 11月月更

深入剖析nodejs中间件

coder2028

node.js

深入nodejs的event-loop

coder2028

node.js

架构--模块5

李某人

架构训练营 #架构训练营

Java Web(十二)Vue&Element

浅辄

Vue javaWeb 11月月更

复杂组合逻辑电路

芯动大师

Verilog 11月月更 74LS138 译码器

“好评返现” 被定为违法行为,互联网数据打假时代何时到来

石头IT视角

「推荐收藏」提高组件库Level必做好这六件事

GFE

前端 组件库

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践_架构_徐晓博_InfoQ精选文章