写点什么

LinkedIn Derived Data Platform

  • 2019-08-22
  • 本文字数:606 字

    阅读完需:约 2 分钟

LinkedIn Derived Data Platform

QCon北京2018大会上,严岩讲师做了《LinkedIn Derived Data Platform》主题演讲,主要内容如下。


演讲简介


本次分享将介绍 Linkedin derived data platform 以及其如何帮助 Linkedin 更好的管理机器学习的结果数据集。

主要内容

  1. Linkedin 机器学习的基本流程,着重于如何将结果数据集应用于线上 application,并阐述原有流程的痛点。

  2. 介绍 derived data platform 的整体设计以及几个关键技术点,例如如何合并批量和实时数据。

  3. 通过几个实例,例如数据标准化和相关性计算,来介绍 derived data platformr 如何存储海量结果数据集,并为线上 application 提供高可用,高性能的服务。

  4. 最后将总结在新平台上线和迁移过程中的一些经验,例如如何进行对用户无感知的迁移。


讲师介绍


严岩


LinkedIn Staff Engineer


严岩,拥有 10 年从业经验,先后就职于 Oracle、人人网、Google、LinkedIn,体验过从传统软件行业到互联网行业的转变,也历经了从国内到硅谷的工作生活变迁。曾任人人网高级架构师、技术委员会主席,负责基础架构部门,主导搭建了人人网大数据平台。


2015 年加入 LinkedIn Data Infrastructure 部门,参与开发分布式 key-value 数据库 Voldemort。现负责构建 LinkedIn 新一代 deserved data platform,整合了从批量计算和实时计算获取的多种数据源,并通过跨大洲的多机房备份,为上层系统提供全球范围内可靠的高性能的数据服务。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-22 00:00844

评论

发布
暂无评论
发现更多内容

质量基础设施一站式服务平台搭建,NQI平台搭建

fil币怎么挖矿?fil挖矿怎么挖?

fil挖矿怎么挖 fil币怎么挖矿

【六顶思考帽】蓝色思考帽

LeifChen

8月日更 创新思维 蓝色思考帽

一文读懂混合型智能合约:如何结合链上与链下计算资源?

CECBC

扫码出入登记小程序

清风

小程序

模块一作业2(毕设构架设计)

Laintime

Python代码阅读(第15篇):列表求交集

Felix

Python 编程 Code Programing 阅读代码

批量SQL优化实战

码农参上

sql SQL优化 8月日更

数字化转型助力构建银行新型产品管理

CECBC

磁场消灭癌细胞,是一种新的抗癌方案吗?

脑极体

高尚小区

escray

生活记录 8月日更

在线BMI身体质量指数计算器

入门小站

工具

前端基础六之jQuery效果

ベ布小禅

8月日更

C++ 中的 Pipeable 编程

hedzr

c++ pipeable

Yarn资源调度框架

丛培欣

YARN

【LeetCode】压缩字符串Java题解

Albert

算法 LeetCode 8月日更

架构训练营第 1 期 模块五作业

高远

网络攻防学习笔记 Day112

穿过生命散发芬芳

网络安全 8月日更

上游思维:谁来为没有发生的事情买单?

石云升

读书笔记 8月日更 上游思维

CSS的设计模式(二)BEM与SMACSS

Augus

CSS 8月日更

模块一课后作业

穿裤子的云

架构实战营

Linux之uniq命令

入门小站

Linux

架构训练营第一模块作业(1)微信业务构架图学习

Laintime

架构实战营

探索区块链C端市场 艺术品、卡牌、音乐皆可NFT

CECBC

zookeeper集群怎么搞?

卢卡多多

zookeeper 8月日更

Vue进阶(五十三):vue-cli 脚手架 webpack.prod.conf.js 配置文件详解

No Silver Bullet

Vue 8月日更

面试篇:虚拟机栈5连问,一听心里就乐了

阿Q说代码

面试 JVM 8月日更 虚拟机栈

仿TP钱包开发,去中心化钱包源码开发

记一次勒索病毒后的应急响应

网络安全学海

黑客 网络安全 信息安全 渗透测试 安全漏洞

云与AI真的能互相成就?还是最好各自独立行走?

白洞计划

ansible 循环

耳东@Erdong

ansible 8月日更 ansible 循环

LinkedIn Derived Data Platform_QCon_严岩_InfoQ精选文章