2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

  • 2023-12-18
    北京
  • 本文字数:803 字

    阅读完需:约 3 分钟

大小:439.74K时长:02:30
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

QCon 全球软件开发大会,将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享,从作业帮现有架构面对的挑战出发,结合真实的业务场景,探讨相关数据湖仓技术方案和实践经验。


孙建业,曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下:


演讲:作业帮大数据湖仓架构和实践


随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。


演讲提纲:


  1. 现有架构的挑战

○ 作业帮现有数据架构

○ 架构缺陷及历史问题

  1. Iceberg 介绍

○ 元数据结构 & 特性

  1. 湖仓整体架构

○ 典型场景

○ 架构方案

  1. 湖仓实践

○ 采集入湖实践

○ 离线计算实践

  1. 展望和不足


听众收益点:


○ 作业帮的业务场景及可复制的湖仓架构设计

○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践


除上述演讲外,QCon 上海还将围绕 GenAI和通用大模型应用探索AI Agent 与行业融合应用的前景LLM 时代的性能优化智能化信创软件 IDE面向人工智能时代的架构性能工程:提升效率和创新的新方法等专题进行交流。


12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。


这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码,查看大会详细日程。咨询购票可联系票务经理 18514549229。



2023-12-18 11:3010599
用户头像

发布了 89 篇内容, 共 49.2 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

YashanDB 知识库|JDBC 查 st_geometry 报内存分配失败?一行授权搞定!

数据库砖家

数据库

比特币交易接近 104000 美元,分析师称「再创新高并非不可能」

PowerVerse

比特币 加密货币 分析

AI赋能时尚零售供应链智能决策:四大核心价值重构竞争力

第七在线

中国版Cursor:基于CodeBuddy与EdgeOne Pages的在线键盘测试工具开发方案

穿过生命散发芬芳

MCP CodeBuddy CodeBuddy首席试玩官

开源大数据平台建设经典案例合集

阿里云大数据AI技术

人工智能 数据库 大数据 数据分析 数据处理

城市巡回丨2025 Altair区域技术交流会华北站,精彩日程出炉!

Altair RapidMiner

人工智能 AI 汽车 数字孪生 CAE

原来鼠标的这个侧边键还能这样用!

程序员郭顺发

Arcadis在最新的国际建筑成本报告中表示,日内瓦重新夺回了世界上最昂贵的城市的称号

财见

扎克伯格:AR 眼镜会是未来的手机,VR 则是未来的电视;Manus AI 融资 7500 万美元,开放免费使用丨日报

声网

Arthas perfcounter(查看当前 JVM 的 Perf Counter 信息)

刘大猫

JVM 监控 Arthas 监控工具 perfcounter

SEO与渲染方式

溪抱鱼

JavaScript typescript

HyperWorks卫星惯性释放分析(OptiStruct)

智造软件

仿真 Hypermesh hyperworks

VMware Tools 12.5.2 下载 - 客户机操作系统无缝交互必备组件

sysin

vmware

A10 Thunder 5.2.1-P12 LTS - 应用交付与负载均衡

sysin

A10

行业首创!快手开源短视频内容质量评测标准KuaiMod!

快手技术

Voice Agent Camp 招募:GPT-4o 一周年,我们决定发起一个创业营丨超音速计划 2025

声网

Rust多线程中安全的使用变量

量贩潮汐·WholesaleTide

rust 后端

A10 ACOS 5 - 专为现代应用程序设计的开放式云就绪操作系统

sysin

A10

郎酒入选"2025外国人喜爱的中国品牌"

财见

鸿蒙HarmonyOS开发:零基础也能成为开发者

Lethehong

鸿蒙 HarmonyOS HarmonyOS NEXT DeepSeek v3 实践分享

RabbitMQ高级使用

不在线第一只蜗牛

Java Rabbit MQ

5月15日Jim老师RSG在线话题分享:硬件敏捷开发实践

ShineScrum

Scrum 敏捷 RSG

50系与40系显卡差别:ToDesk云电脑登顶?顺网云/海马云/青椒云差距多大?

Yan-英杰

AI 云电脑

【华为云MySQL技术专栏】MySQL分区裁剪,提升分区表查询性能

华为云开发者联盟

:MySQL 数据库 ,华为云

项目管理协作工具:Teambition VS Leangoo

axe

Teambition leangoo 项目管理协作工具

RocketMQ原理—消息读写的性能优化

量贩潮汐·WholesaleTide

RocketMQ

C#多线程编程精要:从用户线程到线程池的效能进化论

不在线第一只蜗牛

C#

Web前端入门:CSS 内容溢出怎么处理?

电子尖叫食人鱼

CSS 前端 Web

A10 vThunder 5.2.1-P12 LTS - 虚拟化应用交付控制器 (ADC)

sysin

A10

浅谈低代码开发中的元数据框架

inBuilder低代码平台

CSS 内容溢出怎么处理?

秃头小帅oi

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践_架构_徐晓博_InfoQ精选文章