从 0 到 1 构建企业大数据体系

阅读数:1164 2019 年 9 月 3 日 15:09

从0到1构建企业大数据体系

QCon 上海 2018 大会上,谢巍盛讲师做了《从 0 到 1 构建企业大数据体系》主题演讲,主要内容如下。

演讲简介

经过几年的迅猛发展,甜橙金融注册用户突破 5 亿,月均活跃 3000 多万用户,年交易额超 1, 700 亿。旗下拥有翼支付、红包套餐、甜橙理财、橙分期、甜橙保险、甜橙国际、甜橙信用等业务。业务的增长带来了海量的数据,也随即为大数据平台带来了严峻的挑战。

甜橙金融大数据经历了从 TD 到 Spark 的迁移;自助 BI 分析平台开发建设,高效支撑业务部门数据提取,数据下发及长短时,交互式查询需求;数据科学平台研发,真正做到“平民化”机器学习,以最低门槛赋能业务人员进行业务模型开发与应用;将流计算应用于诸如实时业务监控,实时交易风控监测等场景并通过优化提升 10 倍性能,利用复杂网络进行精准营销及团体反欺诈等。此次分享将聚焦我们在平台建设规划,架构选型及实践中碰到的问题并探讨诸如集群规划建设,作业调度优化,权限中心建设,标签体系构建及 AI 算法模型落地等方面的问题。

听众受益

传统互联网企业如何进行企业大数据体系建设,包括:

  1. 数据治理及数据应用;
  2. 企业大数据平台建设与应用,包括:自助 BI 分析平台、数据科学平台建设、流计算、复杂网络平台等;
  3. AI 应用中的案例分享并探讨 AI 赋能业务中最大的阻力是什么。

讲师介绍

谢巍盛

甜橙金融 大数据总监

曾任 Intel 大数据高级架构师,负责 Hadoop/Spark 生态开源工作,专注于分布式计算、机器学习模型与优化算法等领域,曾负责语音识别、图形图像处理、分布式机器学习算法研发及 AI 应用系统等项目。目前负责甜橙金融大数据和 AI 体系建设。

从0到1构建企业大数据体系

从0到1构建企业大数据体系

从0到1构建企业大数据体系

从0到1构建企业大数据体系

从0到1构建企业大数据体系

从0到1构建企业大数据体系

从0到1构建企业大数据体系

从0到1构建企业大数据体系

从0到1构建企业大数据体系

从0到1构建企业大数据体系

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2018/shanghai/schedule

评论

发布