写点什么

LinkedIn Derived Data Platform

  • 2019-08-22
  • 本文字数:606 字

    阅读完需:约 2 分钟

LinkedIn Derived Data Platform

QCon北京2018大会上,严岩讲师做了《LinkedIn Derived Data Platform》主题演讲,主要内容如下。


演讲简介


本次分享将介绍 Linkedin derived data platform 以及其如何帮助 Linkedin 更好的管理机器学习的结果数据集。

主要内容

  1. Linkedin 机器学习的基本流程,着重于如何将结果数据集应用于线上 application,并阐述原有流程的痛点。

  2. 介绍 derived data platform 的整体设计以及几个关键技术点,例如如何合并批量和实时数据。

  3. 通过几个实例,例如数据标准化和相关性计算,来介绍 derived data platformr 如何存储海量结果数据集,并为线上 application 提供高可用,高性能的服务。

  4. 最后将总结在新平台上线和迁移过程中的一些经验,例如如何进行对用户无感知的迁移。


讲师介绍


严岩


LinkedIn Staff Engineer


严岩,拥有 10 年从业经验,先后就职于 Oracle、人人网、Google、LinkedIn,体验过从传统软件行业到互联网行业的转变,也历经了从国内到硅谷的工作生活变迁。曾任人人网高级架构师、技术委员会主席,负责基础架构部门,主导搭建了人人网大数据平台。


2015 年加入 LinkedIn Data Infrastructure 部门,参与开发分布式 key-value 数据库 Voldemort。现负责构建 LinkedIn 新一代 deserved data platform,整合了从批量计算和实时计算获取的多种数据源,并通过跨大洲的多机房备份,为上层系统提供全球范围内可靠的高性能的数据服务。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-22 00:00795

评论

发布
暂无评论
发现更多内容

通过延时从库+binlog复制,恢复误操作数据

GreatSQL

淘宝月销API接口开发实战

联讯数据

保护Active Directory:备份和恢复的重要性及实施指南

运维有小邓

备份恢复 AD域 IT自动化运维

融云参与「全球首个运营商级量子加密办公应用」量子密信生态开放合作签约

融云 RongCloud

“百度搜索们”会被“Kimi们”取代吗?

趣解商业

百度 互联网 科技 AI搜索

2025史上最全Java面试题:初级-中级-高级!

程序员高级码农

Java 程序员 java面试 面试八股文 Java面试题

和鲸科技助力某高校人工智能通识课程实现全校覆盖,以实践为学生AI素养筑基

ModelWhale

人工智能 AI 教育 智慧课程

HarmonyOS 5.0应用开发——鸿蒙混合开发

高心星

鸿蒙Next HarmonyOS NEXT ArkWeb

TON链小游戏开发:探索GameFi链游技术的未来

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

Solana VS 以太坊:基于数据、市场情绪和催化剂对比分析,Solana 能否实现逆袭?

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

ArkUI与MVVM模式的诗和远方

威哥爱编程

HarmonyOS arkui ArkTS HarmonyOS框架 HarmonyOS NEXT

VMware Integrated OpenStack 7.3 现已支持 vSphere 8.0U3 和 NSX 4.2 互操作性

sysin

vmware OpenStack

2024“创客中国”国际中小企业创新创业大赛决赛在广州南沙成功举办

新消费日报

Voice Agent 开发者必读,2024 最前沿语音模型梳理

声网

一本书精通复杂的后端系统

博文视点Broadview

Cellebrite UFED 4PC 7.71 (Windows) - Android 和 iOS 移动设备取证软件

sysin

UFED

全网最全:JVM+分布式+算法+锁+MQ+微服务+数据库499道JAVA面试题

程序员高级码农

Java 编程 程序员 java面试 Java面试题

LinkedIn Derived Data Platform_QCon_严岩_InfoQ精选文章