QCon 全球软件开发大会，将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享，从作业帮现有架构面对的挑战出发，结合真实的业务场景，探讨相关数据湖仓技术方案和实践经验。
孙建业，曾就职于 Talkingdata、摩拜、美团，多年大数据研发经验。目前就职于作业帮平台架构部，主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下：
演讲：作业帮大数据湖仓架构和实践
随着数据湖相关技术的逐渐成熟、湖仓理论的发展，生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势，在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发，结合真实的业务场景，阐述相关数据湖仓技术方案和实践经验。
演讲提纲：
现有架构的挑战
○ 作业帮现有数据架构
○ 架构缺陷及历史问题
Iceberg 介绍
○ 元数据结构 & 特性
湖仓整体架构
○ 典型场景
○ 架构方案
湖仓实践
○ 采集入湖实践
○ 离线计算实践
展望和不足
听众收益点：
○ 作业帮的业务场景及可复制的湖仓架构设计
○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践
除上述演讲外，QCon 上海还将围绕 GenAI和通用大模型应用探索、AI Agent 与行业融合应用的前景、LLM 时代的性能优化、智能化信创软件 IDE、面向人工智能时代的架构、性能工程：提升效率和创新的新方法等专题进行交流。
12 月 28-29 日，QCon 全球软件开发大会即将落地上海，中国科学院外籍院士、国际数据库专家樊文飞院士，英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。
这次会议主要探讨大模型的全面技术架构的进化，不仅有跟大模型本身相关的推理加速、AI Agent、GenAI，还有架构的演进思路、性能优化，以及以智能代码助手为代表的研发效能提升等方向，感兴趣的朋友可以扫描下方二维码，查看大会详细日程。咨询购票可联系票务经理 18514549229。
评论