写点什么

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

  • 2023-12-18
    北京
  • 本文字数:803 字

    阅读完需:约 3 分钟

大小:439.74K时长:02:30
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

QCon 全球软件开发大会,将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享,从作业帮现有架构面对的挑战出发,结合真实的业务场景,探讨相关数据湖仓技术方案和实践经验。


孙建业,曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下:


演讲:作业帮大数据湖仓架构和实践


随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。


演讲提纲:


  1. 现有架构的挑战

○ 作业帮现有数据架构

○ 架构缺陷及历史问题

  1. Iceberg 介绍

○ 元数据结构 & 特性

  1. 湖仓整体架构

○ 典型场景

○ 架构方案

  1. 湖仓实践

○ 采集入湖实践

○ 离线计算实践

  1. 展望和不足


听众收益点:


○ 作业帮的业务场景及可复制的湖仓架构设计

○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践


除上述演讲外,QCon 上海还将围绕 GenAI和通用大模型应用探索AI Agent 与行业融合应用的前景LLM 时代的性能优化智能化信创软件 IDE面向人工智能时代的架构性能工程:提升效率和创新的新方法等专题进行交流。


12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。


这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码,查看大会详细日程。咨询购票可联系票务经理 18514549229。



2023-12-18 11:3010502
用户头像

发布了 89 篇内容, 共 47.5 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

低代码平台:数字化时代的开发加速器与业务创新引擎

万界星空科技

低代码 低代码开发 低代码平台 mes 万界星空科技低代码平台

YashanDB实例启停

YashanDB

数据库 yashandb

【签约快讯|天润融通签约味全】

天润融通

AI生成表单│告别重复劳动,用AI对话生成你的专属业务表单

引迈信息

天润融通推出DeepSeek私有化部署方案,助力企业提升服务体验

天润融通

三句话生成 P5.js 粒子特效代码,人人都可以做交互式数字艺术

阿里云云效

阿里云 云原生 AI程序员 AI程序员体验官

明晚见:快速上手 IoTDB 树表双模型,功能/场景直播详解!

Apache IoTDB

YashanDB环境变量

YashanDB

数据库 yashandb

一天成为Java开发高手:用飞算JavaAI实现十倍提效

飞算JavaAI开发助手

三句话生成 P5.js 粒子特效代码,人人都可以做交互式数字艺术

阿里巴巴云原生

阿里云 云原生 通义灵码 AI程序员 AI程序员体验官

2025 年软件测试趋势:你准备好了吗?

FunTester

快手前端通用静态托管服务KFX演进历程:从崎岖土路到平坦高速

快手技术

前端

商汤“万象”:AI的“超级工具箱”,开发者的新宠儿!

商汤万象开发者

AI

AIBrix: 专为 vLLM 打造的可扩展、高性价比控制面

字节跳动开源

云原生技术 大模型推理优化 开源AI基础设施 分布式系统架构 企业级AI工程化

片段式代码VS完整工程生成:飞算JavaAI如何让开发者告别碎片化开发?

飞算JavaAI开发助手

RocketMQ 可观测性最佳实践

观测云

RocketMQ

小米基于 Apache Paimon 的流式湖仓实践

Apache Flink

大数据 flink 实时计算

小红书独立开发大赛:让你的宝藏应用被更多人看到

声网

融云数据监控平台「北极星」教程,聊天室洪峰、连接异常、消息未达正确解法

融云 RongCloud

YashanDB客户端安装

YashanDB

数据库 yashandb

域名服务器有哪些不同类型?

伤感汤姆布利柏

YashanDB用户操作

YashanDB

数据库 yashandb

飞算JavaAI代码生成实战:如何用AI技术减少70%重复编码

飞算JavaAI开发助手

下载量周榜前十,昆仑万维视频生成模型SkyReels-V1开源效果喜人

新消费日报

AI生成PPT新功能!导入PPT创建模板,办公演示必备!

职场工具箱

人工智能 AI AIGC 效率软件 AI生成PPT

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践_架构_徐晓博_InfoQ精选文章