写点什么

从 0 到 1 构建企业大数据体系

  • 2019-09-03
  • 本文字数:694 字

    阅读完需:约 2 分钟

从0到1构建企业大数据体系

QCon上海2018大会上,谢巍盛讲师做了《从 0 到 1 构建企业大数据体系》主题演讲,主要内容如下。


演讲简介


经过几年的迅猛发展,甜橙金融注册用户突破 5 亿,月均活跃 3000 多万用户,年交易额超 1, 700 亿。旗下拥有翼支付、红包套餐、甜橙理财、橙分期、甜橙保险、甜橙国际、甜橙信用等业务。业务的增长带来了海量的数据,也随即为大数据平台带来了严峻的挑战。


甜橙金融大数据经历了从 TD 到 Spark 的迁移;自助 BI 分析平台开发建设,高效支撑业务部门数据提取,数据下发及长短时,交互式查询需求;数据科学平台研发,真正做到“平民化”机器学习,以最低门槛赋能业务人员进行业务模型开发与应用;将流计算应用于诸如实时业务监控,实时交易风控监测等场景并通过优化提升 10 倍性能,利用复杂网络进行精准营销及团体反欺诈等。此次分享将聚焦我们在平台建设规划,架构选型及实践中碰到的问题并探讨诸如集群规划建设,作业调度优化,权限中心建设,标签体系构建及 AI 算法模型落地等方面的问题。

听众受益

传统互联网企业如何进行企业大数据体系建设,包括:


  1. 数据治理及数据应用;

  2. 企业大数据平台建设与应用,包括:自助 BI 分析平台、数据科学平台建设、流计算、复杂网络平台等;

  3. AI 应用中的案例分享并探讨 AI 赋能业务中最大的阻力是什么。


讲师介绍


谢巍盛


甜橙金融 大数据总监


曾任 Intel 大数据高级架构师,负责 Hadoop/Spark 生态开源工作,专注于分布式计算、机器学习模型与优化算法等领域,曾负责语音识别、图形图像处理、分布式机器学习算法研发及 AI 应用系统等项目。目前负责甜橙金融大数据和 AI 体系建设。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-03 15:092319

评论

发布
暂无评论
发现更多内容

安全工作杂想 - 2022.9.12

心在飞

滴滴前端面试题合集

coder2028

JavaScript 前端

2022-09-12:以下go语言代码输出什么?A:true;B:false;C:无法编译;D:运行时 panic。 package main func main() { var x chan<-

福大大架构师每日一题

golang 福大大 选择题

到底什么才是完美的回答:什么是事务?

Joseph295

美团前端面试题(附答案)

hellocoder2029

JavaScript 前端

质量问题不是不爆,时候未到

Java 架构 职场

关于SpringCloudAlibaba,看阿里这篇笔记真香

程序知音

Java 微服务 阿里 SpringCloud 后端技术

GitHub上标星90k+的《Java知识总结+面试指南》到底有什么魅力?

钟奕礼

Java 程序员 架构 后端 java面试

C++学习---变长参数(stdarg.h)的实现原理

桑榆

c++ 源码阅读 9月月更

Flink精粹:可能是关于Flink知识点最密集的文章

Joseph295

【C语言深度剖析】深入理解C语言中的移位操作符(代码+图解)

Albert Edison

C语言 9月月更 左移操作符 右移操作符

常见的主要监控数据获取方式

阿泽🧸

监控 9月月更

网络协议中链接与断开的握手有何区别?

想要飞的猪

三次握手 网络协议、 TCP四次挥手

分布式系统的一致性算法导论

Joseph295

一文带你深入掌握ES6 Proxy数据代理

海底烧烤店ai

JavaScript node.js 全栈开发 9月月更

从程序员的视角看待Linux操作系统

Joseph295

关于 HBase

Joseph295

应届的我,面试37次,16个offer上岸后总结了一些面试心得

收到请回复

Java 项目管理 面试 语言 & 开发 秋招

图灵访谈 | 一位半路出家的程序员的“天命”之选

图灵教育

Java 人工智能 大数据 编程语言 可视化

构建自动化运维体系的三大层级

穿过生命散发芬芳

自动化运维 9月月更

【SSM】Mybatis系列——配置解析

胖虎不秃头

mybatis ssm 9月月更

【SSM】Mybatis系列——解决属性名和字段名不一致的问题、日志

胖虎不秃头

mybatis SSM框架 9月月更

Java 并发:这是你需要的最后一篇文章

Joseph295

关于 Java Stream 以及lambda

Joseph295

图灵访谈 | 一位半路出家的程序员的“天命”之选

图灵社区

Java 人工智能 大数据 编程语言 可视化

关于Linux网络与网络编程

Joseph295

下载量已过亿次!阿里内部不外传秘籍50万字Java面试手册首次开放

钟奕礼

Java 程序员 架构 后端 java面试

面试突击82:SpringBoot 中如何操作事务?

王磊

Java 面试题

Kubernetes: 关于云原生,我知道的一切都在这里了

Joseph295

四个小时的轮番轰炸,三面蚂蚁金服,拿到offer的那天我的眼泪止不住的流了下来!

钟奕礼

Java 程序员 架构 后端 java面试

【SSM】Mybatis系列——mybatis的简介、环境搭建、CRUD操作

胖虎不秃头

mybatis SSM框架 9月月更

从0到1构建企业大数据体系_QCon_谢巍盛_InfoQ精选文章