2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

  • 2023-12-18
    北京
  • 本文字数:803 字

    阅读完需:约 3 分钟

大小:439.74K时长:02:30
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

QCon 全球软件开发大会,将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享,从作业帮现有架构面对的挑战出发,结合真实的业务场景,探讨相关数据湖仓技术方案和实践经验。


孙建业,曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下:


演讲:作业帮大数据湖仓架构和实践


随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。


演讲提纲:


  1. 现有架构的挑战

○ 作业帮现有数据架构

○ 架构缺陷及历史问题

  1. Iceberg 介绍

○ 元数据结构 & 特性

  1. 湖仓整体架构

○ 典型场景

○ 架构方案

  1. 湖仓实践

○ 采集入湖实践

○ 离线计算实践

  1. 展望和不足


听众收益点:


○ 作业帮的业务场景及可复制的湖仓架构设计

○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践


除上述演讲外,QCon 上海还将围绕 GenAI和通用大模型应用探索AI Agent 与行业融合应用的前景LLM 时代的性能优化智能化信创软件 IDE面向人工智能时代的架构性能工程:提升效率和创新的新方法等专题进行交流。


12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。


这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码,查看大会详细日程。咨询购票可联系票务经理 18514549229。



2023-12-18 11:3010628
用户头像

发布了 89 篇内容, 共 49.5 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

一种动态实现核隔离的方法

天翼云开发者社区

云计算 运维

亚信科技AntDB数据库荣膺“2023世界计算大会专题展优秀成果”

亚信AntDB数据库

AntDB数据库

精彩合集丨全“猿”出击!浪潮海岳inBuilder亮相1024程序员节

inBuilder低代码平台

1024程序员节

“创新深化 数实融合”,AntDB数据库邀您参与“2023世界数字经济大会暨第十三届智慧城市与智能经济博览会”

亚信AntDB数据库

AntDB数据库

数据泄露定义以及危害简单讲解

行云管家

大数据 数据安全 数据泄露 数据运维 数据安全运维

机器狗装上 ChatGPT 大脑当导游;AI 正在学习「超人的说服力」丨 RTE 开发者日报 Vol.73

RTE开发者社区

数字先锋| 出版行业如何破圈出彩?“一朵云”让文化铸魂与数智发展并行!

天翼云开发者社区

云计算

Nginx工作原理

天翼云开发者社区

nginx 服务器

数据集成实现以及平台安装部署入门

谷云科技RestCloud

ETL 数据集成

信创发展 再添一城!广州亚信技术携AntDB数据库入围广州市软件和信创产业链重点企业代表名单

亚信AntDB数据库

AntDB数据库

实用的命令行终端增强软件:Tabby | 京东云技术团队

京东科技开发者

ios windows 终端工具 Tabby

京东科技埋点数据治理和平台建设实践 | 京东云技术团队

京东科技开发者

数据埋点 平台建设 埋点治理 企业号10月PK榜

性能优化必读 | AntDB-M高性能设计之线程池协程模型

亚信AntDB数据库

AntDB数据库

TiDB x 汉口银行丨分布式数据库应用实践

编程猫

科技快讯丨超级“码”力!浪潮海岳inBuilder精彩亮相开放原子1024程序员节

inBuilder低代码平台

1024程序员节

百舸争流,奋楫笃行 国产数据库排行榜前10改写,AntDB数据库将继续前行

亚信AntDB数据库

AntDB数据库

AntDB-M的扩展功能,性能提升和热更新轻松搞定

亚信AntDB数据库

AntDB数据库

AntDB数据库荣获 “2023年信创物联网优秀服务商”

亚信AntDB数据库

AntDB数据库

国家数据局正式揭牌,隐私计算助力数据要素流通共享

郑州埃文科技

隐私计算

HDD上海站:HarmonyOS地图与位置服务,赋能开发者共促生态繁荣

新消费日报

MatrixOne Meetup回顾 | 上海站

MatrixOrigin

数据库 云原生 HTAP MatrixOrigin MatrixOne

简单聊聊远程协同运维定义以及优势-行云管家

行云管家

运维 远程系统 远程协同 协同运维

于璠访谈录 | AI 框架应该和而不同?

开源雨林

开源 ai框架 昇思MindSpore AI for Science

浅析SpringBoot加载配置的6种方式 | 京东云技术团队

京东科技开发者

配置文件 spring-boot 企业号10月PK榜

数据库性能优化必读,AntDB-M全局统计信息

亚信AntDB数据库

AntDB数据库

华锐技术何志东:证券核心交易系统分布式改造将迎来规模化落地阶段

PingCAP

MySQL 数据库 分布式 TiDB

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践_架构_徐晓博_InfoQ精选文章