写点什么

LinkedIn Derived Data Platform

  • 2019-08-22
  • 本文字数:606 字

    阅读完需:约 2 分钟

LinkedIn Derived Data Platform

QCon北京2018大会上,严岩讲师做了《LinkedIn Derived Data Platform》主题演讲,主要内容如下。


演讲简介


本次分享将介绍 Linkedin derived data platform 以及其如何帮助 Linkedin 更好的管理机器学习的结果数据集。

主要内容

  1. Linkedin 机器学习的基本流程,着重于如何将结果数据集应用于线上 application,并阐述原有流程的痛点。

  2. 介绍 derived data platform 的整体设计以及几个关键技术点,例如如何合并批量和实时数据。

  3. 通过几个实例,例如数据标准化和相关性计算,来介绍 derived data platformr 如何存储海量结果数据集,并为线上 application 提供高可用,高性能的服务。

  4. 最后将总结在新平台上线和迁移过程中的一些经验,例如如何进行对用户无感知的迁移。


讲师介绍


严岩


LinkedIn Staff Engineer


严岩,拥有 10 年从业经验,先后就职于 Oracle、人人网、Google、LinkedIn,体验过从传统软件行业到互联网行业的转变,也历经了从国内到硅谷的工作生活变迁。曾任人人网高级架构师、技术委员会主席,负责基础架构部门,主导搭建了人人网大数据平台。


2015 年加入 LinkedIn Data Infrastructure 部门,参与开发分布式 key-value 数据库 Voldemort。现负责构建 LinkedIn 新一代 deserved data platform,整合了从批量计算和实时计算获取的多种数据源,并通过跨大洲的多机房备份,为上层系统提供全球范围内可靠的高性能的数据服务。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-22 00:00743

评论

发布
暂无评论
发现更多内容

「 数据结构与算法 」如何系统性的学习数据结构与算法

小刘学编程

Java 学习路线 数据结构与算法

GuitarPro2024免费版吉他打谱工具

茶色酒

GuitarPro

极客时间运维进阶训练营第十四周作业

9527

MASA Stack 1.0 发布会 —— 社区问题解答

MASA技术团队

.net stack 应用现代化 MASA

运维训练营第14周作业

好吃不贵

「 前端开发规范 」10人小团队前端开发规范参考这篇就够了

小刘学编程

前端 统一代码规范 高效协同

2023-02-15:商场中有一展柜A,其大小固定,现已被不同的商品摆满, 商家提供了一些新商品B,需要对A中的部分商品进行更新替换, B中的商品可以自由使用,也就是可以用B中的任何商品替换A中的任何

福大大架构师每日一题

算法 rust 福大大

大规模即时云渲染技术,追求体验与成本的最佳均衡

阿里云CloudImagine

云计算 云渲染 云庙会

「 Java开发规范 」10人小团队Java开发规范参考这篇就够了

小刘学编程

Java 数据库规范 代码规范 项目规范

【Java基础】常用序列化技术与方式

No8g攻城狮

通信协议 网络通信协议

ChatGPT入门案例|商务智能对话客服(二)| 社区征文

TiAmo

openai ChatGPT

「 代码性能优化 」作为一名Java程序员,你真的了解 synchronized 吗?(一)

小刘学编程

Java 性能优化 synchronized java锁

「 代码性能优化 」作为一名Java程序员,你真的了解 synchronized 吗?(二)

小刘学编程

Java 性能优化 synchronized java锁

Maven Shade插件relocation修改类常量的问题

Laughing

Java 后端 Maven-Shade-Plugin RelocationClass

「 技术文章翻译 」jasypt-spring-boot敏感信息加密解密利器使用指南

小刘学编程

加密解密 springboot jasypt

模块六作业

张贺

我不想再传递 nameof 了

newbe36524

C# Docker Kubernetes

Python 内置界面开发框架 Tkinter入门篇 丙

eng八戒

Python GUI tkinter

ChatGPT这波热潮会不会让我失业?

eng八戒

人工智能 AI 聊天机器人 openai ChatGPT

EasyRecovery2023新版本有哪些新功能?

茶色酒

EasyRecovery EasyRecovery15 easyrecovery2023

有了瓴羊Quick BI,企业再也不必担心可视化分析情况

小偏执o

飞桨特色产业级模型库助力AI开发与落地更简单

飞桨PaddlePaddle

paddle 开源 模型 飞桨

「 代码性能优化 」作为一名Java程序员,你真的了解 synchronized 吗?(三)

小刘学编程

Java 性能优化 synchronized java锁

自媒体营销或已死,内容营销为何越来越难做?

石头IT视角

Python 内置界面开发框架 Tkinter入门篇 丁

eng八戒

Python GUI tkinter

使用自定义的初始化方法宏(OC)

刿刀

「 代码性能优化 」java高级程序员必知必会的55个代码性能优化技巧

小刘学编程

Java 性能优化 高级程序员 代码技巧

「 代码性能优化 」作为一名Java程序员,你真的会写for循环吗?

小刘学编程

Java 性能优化 for循环 技巧总结

CleanMyMacX4.12.5中文版苹果电脑管家

茶色酒

CleanMyMacX4.12.5

面试必问:JVM 如何确定死亡对象?

王磊

java面试

使用了瓴羊Quick BI,数据分析的效率有效提升

夏日星河

LinkedIn Derived Data Platform_QCon_严岩_InfoQ精选文章