2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

LinkedIn Derived Data Platform

  • 2019-08-22
  • 本文字数:606 字

    阅读完需:约 2 分钟

LinkedIn Derived Data Platform

QCon北京2018大会上,严岩讲师做了《LinkedIn Derived Data Platform》主题演讲,主要内容如下。


演讲简介


本次分享将介绍 Linkedin derived data platform 以及其如何帮助 Linkedin 更好的管理机器学习的结果数据集。

主要内容

  1. Linkedin 机器学习的基本流程,着重于如何将结果数据集应用于线上 application,并阐述原有流程的痛点。

  2. 介绍 derived data platform 的整体设计以及几个关键技术点,例如如何合并批量和实时数据。

  3. 通过几个实例,例如数据标准化和相关性计算,来介绍 derived data platformr 如何存储海量结果数据集,并为线上 application 提供高可用,高性能的服务。

  4. 最后将总结在新平台上线和迁移过程中的一些经验,例如如何进行对用户无感知的迁移。


讲师介绍


严岩


LinkedIn Staff Engineer


严岩,拥有 10 年从业经验,先后就职于 Oracle、人人网、Google、LinkedIn,体验过从传统软件行业到互联网行业的转变,也历经了从国内到硅谷的工作生活变迁。曾任人人网高级架构师、技术委员会主席,负责基础架构部门,主导搭建了人人网大数据平台。


2015 年加入 LinkedIn Data Infrastructure 部门,参与开发分布式 key-value 数据库 Voldemort。现负责构建 LinkedIn 新一代 deserved data platform,整合了从批量计算和实时计算获取的多种数据源,并通过跨大洲的多机房备份,为上层系统提供全球范围内可靠的高性能的数据服务。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-22 00:00824

评论

发布
暂无评论
发现更多内容

架构师第十三周作业

_

极客大学架构师训练营 第十三周

极客大学 - 架构师训练营 第十三周作业

9527

架构师训练营第九周作业2

韩儿

秒杀活动要点分析

落朽

《Python中的竞争性编程:128种提高编码技能的算法》PDF

计算机与AI

Python 算法

Week9作业

lggl

盘点2020 | 带领团队学习成长,干货总结

架构精进之路

学习 盘点2020

架构师训练营第四周”系统架构“总结

随秋

极客大学架构师训练营

架构师训练营第一期第十三周总结

Leo乐

极客大学架构师训练营

架构师训练营第九周作业1

韩儿

LeetCode题解:18. 四数之和,双指针,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

架构师训练营第 1 期 - 第 13 周课后练习

Anyou Liu

极客大学架构师训练营

架构师训练营 - 第十三周总结

一个节点

极客大学架构师训练营

世界之书:《大国政治的悲剧》与美国独行

lidaobing

大国政治的悲剧 28天写作

NO.001-简说Java并发编程史

葛一凡

极客时间架构师训练营 1 期 - 第 13 周总结

Kaven

AWS 发布 180 项新服务与功能

亚马逊云科技 (Amazon Web Services)

云计算 AWS

第十三周作业 (作业二)

Geek_83908e

架构师一期

生产环境全链路压测建设历程14:核心链路的改造

数列科技杨德华

全链路压测 七日更

架构师训练营 1 期第 13 周:数据应用(二)- 总结

piercebn

极客大学架构师训练营

架构师训练营第四周”系统架构“作业

随秋

极客大学架构师训练营

架构师训练营第一期第十三周作业

Leo乐

极客大学架构师训练营

架构师训练营 第九周课程

文江

架构师第十三周总结

_

总结 架构师第十三周

架构师训练营 - 第十三周作业

一个节点

极客大学架构师训练营

使用 Docker 部署 canal,并将消息推送到 RabbitMQ

AlwaysBeta

MySQL Docker RabbitMQ canal

架构师训练营 1 期第 13 周:数据应用(二)- 作业

piercebn

极客大学架构师训练营

极客时间架构师培训 1 期 - 第 13 周作业

Kaven

第十三周 数据应用 (二)

9527

Week9总结

lggl

作业

第十三周作业 (作业一)

Geek_83908e

架构师一期

LinkedIn Derived Data Platform_QCon_严岩_InfoQ精选文章