写点什么

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

  • 2023-12-18
    北京
  • 本文字数:803 字

    阅读完需:约 3 分钟

大小:439.74K时长:02:30
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

QCon 全球软件开发大会,将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享,从作业帮现有架构面对的挑战出发,结合真实的业务场景,探讨相关数据湖仓技术方案和实践经验。


孙建业,曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下:


演讲:作业帮大数据湖仓架构和实践


随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。


演讲提纲:


  1. 现有架构的挑战

○ 作业帮现有数据架构

○ 架构缺陷及历史问题

  1. Iceberg 介绍

○ 元数据结构 & 特性

  1. 湖仓整体架构

○ 典型场景

○ 架构方案

  1. 湖仓实践

○ 采集入湖实践

○ 离线计算实践

  1. 展望和不足


听众收益点:


○ 作业帮的业务场景及可复制的湖仓架构设计

○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践


除上述演讲外,QCon 上海还将围绕 GenAI和通用大模型应用探索AI Agent 与行业融合应用的前景LLM 时代的性能优化智能化信创软件 IDE面向人工智能时代的架构性能工程:提升效率和创新的新方法等专题进行交流。


12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。


这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码,查看大会详细日程。咨询购票可联系票务经理 18514549229。



2023-12-18 11:3010489
用户头像

发布了 89 篇内容, 共 47.3 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

跟着卷卷龙一起学Camera--低延迟01

卷卷龙

ISP camera 11月月更

腾讯前端二面常考react面试题总结

beifeng1996

React

Go 微服务实战之如何实现加解密操作的微服务开发

宇宙之一粟

Go 微服务 Go 语言 11月月更 go-micro

JavaScript-防抖

格斗家不爱在外太空沉思

JavaScript 前端 11月月更

跟着卷卷龙一起学Camera--偏振相机

卷卷龙

ISP camera 11月月更

跟着卷卷龙一起学Camera--低延迟02

卷卷龙

ISP camera 11月月更

制胜出海赛道 华为应用海外联运助力开发者获量增长

叶落便知秋

华为开发者大会2022

从“青铜”到“王者”,制造企业的数字化闯关记

脑极体

云原生系列三:K8s应用安全加固技术

叶秋学长

#k8s K8s 多集群管理 安全加固 11月月更

4.NLP领域任务如何选择合适预训练模型以及选择合适的方案【规范建议】【ERNIE模型首选】

汀丶人工智能

nlp 11月月更

索引的基础知识

阿泽🧸

索引 11月月更

张益唐111页论文攻克朗道-西格尔零点猜想

老周聊架构

数学 11月月更 朗道-西格尔零点猜想

湖仓一体电商项目(五):内网穿透工具-网云穿

Lansonli

湖仓一体 11月月更

拿到大厂前端offer的前端开发是怎么回答面试题的

loveX001

JavaScript

京东前端经典react面试题合集

beifeng1996

React

快速搭建Jenkins集群

程序员欣宸

DevOps jenkins 11月月更

手写一个Redux,深入理解其原理-面试进阶

beifeng1996

React

黑客“劫持”了一颗卫星,用它直播黑客大会和放电影

博文视点Broadview

Hessian Hessian2 JDK 序列化性能对比

water

湖仓一体电商项目(四):项目数据种类与采集

Lansonli

湖仓一体 11月月更

你是如何使用React高阶组件的?

beifeng1996

React

CSS学习笔记(三)

lxmoe

CSS 前端 学习笔记 11月月更

令人头秃的js隐式转换面试题,你能做对吗

loveX001

JavaScript

从这两道题重新理解,JS的this、作用域、闭包、对象

loveX001

JavaScript

算法题学习---合并两个排序的链表

桑榆

算法题 11月月更

【奖项征集】参与第四届中国“数据质量管理”奖项评选,DQMIS 2022门票免费领!

数据质量管理智库

数据 数据治理 数据安全 数据隐私计算 数据要素

2022-11-08:以下go语言代码输出什么?A:2;B:编译错误;C:运行 panic。 package main import “fmt“ func main() { a := []int

福大大架构师每日一题

golang 福大大 选择题

一个好的安全团队应该具有怎样的素质

穿过生命散发芬芳

11月月更 安全团队

如何在 Rocky Linux 上安装 MinIO 存储?

wljslmz

对象存储 S3 Minio Rocky Linux

随机森林-随机森林在乳腺癌数据上的调参

烧灯续昼2002

Python 机器学习 算法 sklearn 11月月更

JavaScript-节流

格斗家不爱在外太空沉思

JavaScript 前端 11月月更

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践_架构_徐晓博_InfoQ精选文章