2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

如何快速打造高稳定千亿级别对象存储平台

  • 2019-08-31
  • 本文字数:525 字

    阅读完需:约 2 分钟

如何快速打造高稳定千亿级别对象存储平台

QCon上海2018大会上,赵健博讲师做了《如何快速打造高稳定千亿级别对象存储平台》主题演讲,主要内容如下。


演讲简介


快手每天都有海量的视频数据上传存储,到目前为止所有的视频以及衍生数据总量更是数量庞大,且视频本身有大有小,如何存储这些数据将是一个颇具挑战性的问题。本次演讲将会介绍一种可以快速构建海量短视频存储的服务的方案、我们在实践中遇到的问题以及解决方案,例如我们是怎么解决高可用、高扩展性、高性能等问题的。

主要内容

  1. 在线短视频存储服务系统的要求;

  2. 在线短视频存储服务系统的架构与实现细节;

  3. 实践中遇到的问题与解决方案;

  4. 未来规划。

听众受益

  1. 掌握如何快速构建一个海量对象存储服务;

  2. 了解到海量分布式存储服务可能会遇到的一些问题,如可用性、扩展性、性能问题,并针对这些问题提供一种解决方案。


讲师介绍


赵健博


快手 高级架构师


赵健博,快手大数据架构团队的负责人,负责快手公司内 Hadoop 生态中存储、调度、计算、AI 架构等子系统内核与周边子系统的研发,与在公司内的应用。先后就职于百度、奇虎 360、58 集团,快手。大数据领域专家,2009 年毕业于中国科学院计算所,主要研究领域包括分布式计算、调度与存储系统等。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-08-31 17:031452

评论

发布
暂无评论
发现更多内容

这么狠,私塾在线架构师系列课程全都免费发放

InfoQ_d2212957090d

Java

阿里P9架构师强烈推荐:想拿60W以上年薪必看,Java高并发四套小册。

Java架构追梦

Java 阿里巴巴 架构 面试 高并发

并发王者课 - 青铜 3: 双刃剑-理解多线程带来的安全问题

MetaThoughts

Java 多线程 并发 王者并发课

WizTree——一个扫描快似Everything的硬盘空间分析工具

吴脑的键客

DevOps windows

「DataPipeline」完成数千万B轮融资,加速构建中国的世界级数据中间件产品

DataPipeline数见科技

融资

☕【JVM技术之旅】你真正掌握了Java对象创建的流程吗?

码界西柚

JVM java对象分析 java对象 对象创建 5月日更

2021年中国信创生态报告发布 指引未来信创产业发展

融云 RongCloud

玩转直播系列之消息模块演进(3)

vivo互联网技术

Java 服务器 消息系统 直播技术

BMP、GIF、TIFF、PNG、JPG和SVG格式图像的特点

不脱发的程序猿

图像格式

GitHub开源的AI下五子棋

不脱发的程序猿

人工智能 GitHub 开源 AI 五子棋

极光开发者周刊【No.0521】

极光GPTBots-极光推送

「技术人生」第2篇:学会分析事物的本质

阿里巴巴中间件

技术 工具 技术人 技术人生 一号位

Nginx的11个执行阶段详解

运维研习社

nginx 运维 源码剖析 5月日更

2021 DevOpsDays 东京站完美收官 | CODING 专家受邀分享最新技术资讯

CODING DevOps

DevOps CI/CD

我粉了!阿里大牛从内部带出来的百亿级高并发系统,从基础到实战、面面俱到

Java 程序员 架构 面试

做一次黑客,入侵一次服务器

叫我阿柒啊

Docker 入侵 docker远程 redis注入

网络攻防学习笔记 Day24

穿过生命散发芬芳

5月日更 网络攻防

云小课|聊一聊DRS的数据过滤特性

华为云开发者联盟

数据库 DRS 数据复制服务 数据过滤 数据库引擎

MindSpore:不用摘口罩也知道你是谁

华为云开发者联盟

算法 人脸识别 口罩 mindspore 口罩人脸

记十亿级Es数据迁移mongodb成本节省及性能优化实践

杨亚洲腾讯科技

MySQL 数据库 mongodb 架构 分布式数据库mongodb

首届HarmonyOS开发者创新大赛颁奖典礼于深圳召开

科技汇

新思科技为中兴通讯提供BSIMM软件安全评估

InfoQ_434670063458

5G 新思科技 中兴 软件安全 BSIMM

LRU 和 LFU

且听且吟

iOS面试--拼多多最新iOS开发面试题

一意孤行的程序员

ios swift 面试 ios开发 知识分享

Spark知识点简单总结

五分钟学大数据

大数据 spark 5月日更

每个开发人员都应该知道的 10 个 GitHub 仓库

LeanCloud

GitHub web开发

技术干货 | 基于MindSpore更好的理解Focal Loss

华为云开发者联盟

函数 mindspore Focal Loss 样本

字节跳动Java岗一二三面全经过分享

北游学Java

Java 字节跳动 面试

M1 Dock智能硬件环境搭建(MaixPy安装及使用)

不脱发的程序猿

人工智能 开发板 智能硬件 AIOT M1 Dock

Hive窗口函数与分析函数

大数据技术指南

hive 5月日更

ETL-KETTLE工具使用

this

Java 数据 数据同步 ETL

如何快速打造高稳定千亿级别对象存储平台_QCon_赵健博_InfoQ精选文章