写点什么

高亮谈大数据存储、分析、产品化

  • 2014-09-10
  • 本文字数:1839 字

    阅读完需:约 6 分钟

在最近举行的百度世界 2014 大会大数据论坛上,百度大数据部研发副总监高亮分享了百度在大数据存储、处理和产品化方面的最新成果。

在今年 4 月份百度发布了开放大数据引擎战略,高亮指出,虽然大数据概念炒的非常火,但是大数据内部运作的逻辑和传统行业是比较类似的。

如果传统行业做实业的话,首先要有地基,你要有厂房,要有原材料,然后做加工,接下来设计成独立的产品,给客户带来独特的体验。开放云就是大数据的地基和厂房,原材料就是在线上和线下产生的海量数据。现在百度目前每天数据规模,2013 年是 25PB,这个数字在快速的变化,我们现在处理的能力已经提高一倍,数据上目前是 50PB,增长了一倍,这个就是我们目前大数据库要处理的数据的原材料。

大数据处理能力分为几个层次,首先是数据存储,然后是智能分析,然后是做出产品。在几年之前,百度的数据存储在每个产品线都有自己的方式。后来用了两年的时间构建了现在的数据存储方式,首先解决了数据的传输,现在百度很多产品线要实时产生大量海量的数据,这些数据都需要被实时的储存一个地方。但是这些产品线的数据格式都是异构的。大数据部门做了非常多的标准化的工作,在基础上形成了第一个海量数据储存的产品,叫通用的数据仓库。总结起来,一是构建了实时的海量数据的传输平台,任何一个产品线产生的数据都能够实时的传送到这个数据仓库里面。二是做了实时的数据标准化的工作,无论你的数据是什么样的格式,到数据仓库里面都以同样的格式来储存。

有了这个物流,有了这个标准化,我们能够在这个基础上对数据进行更多的分析和加工。

高亮指出,整个数据的流程是全自动化的,从数据的生成、数据的传输、数据的标准化,到最后数据的归类、数据的分析,都是全自动化的。

这个产品(Query Engine)是一套标准的海量数据储存方案,无论你的数据是什么样的,经过处理会把它做成数据标准化,当数据实时生成,有非常好的数据传输框架,保证你的数据上传到百度的开放云,在上面进行建模,进行各种各样可视化分析和决策的过程。我们已经成功了上传分析一家合作企业将近 10T 的关于新能源方面的一些数据。

在数据被结构化存储以后,接下来是在这个基础上进行各种各样的智能化分析。就像传统行业有自己的产品设计中心一样,会对产品进行各种各样的分析、排列组合,做各种各样的实验。在这个实验的基础上能够产生出比较好的产品,能够满足用户的需求。大数据部门也有这样的需求,也需要有大数据产品的设计中心,在这个设计中心需要做很多实验,做出适用于百度,适用于客户的数据产品。

我们大数据新产品的设计中心,可以进行很多实时的智能分析,做很多的实验,对产品进行很多排列组合,看哪一种产品能够最适合行业,满足百度的需求。

对于大数据产品,高亮列举了几个上线的实例,包括百度司南、预测、推荐等。其中百度司南门专门针对发展到一定阶段、有了一定的品牌影响力的企业,能够让企业对自身的品牌有更客观的了解,主要体现在三个方面:

  • 品牌分析,了解你的品牌在同行业中的地位如何,周边的人如何看待你的品牌,口碑如何,这种分析几乎是实时的。
  • 用户关注点,比较忠实的用户除了关注你的品牌,他还关心什么别的,他还对什么样的东西感兴趣。
  • 渠道分析,用户通过什么渠道了解到你的品牌,这样以后做营销行为,就知道如何很快的影响到你的受众,什么样的渠道是最有效的。

那么百度司南有什么实际应用呢?高亮从代言人、舆情分析两个方面做了展示。

很多品牌到了后期推广的时候,都有找代言人的需求。什么样的代言人在你最想影响的受众是最有号召力的?之前可能是一些拍脑袋的决策,但是通过司南,通过海量的数据,通过海量的用户行为分析,可以帮助你做一个决策的科学。实际上我们已经通过大数据的分析,可以产生出超过一千家的企业,它们最合适的代言人到底是哪一位。

另外一个是舆情分析,实际是跟品牌的口碑最像。企业里有一系列的产品,每一个产品可能有轻微的差异化,就像我化妆品一样,每一款产品在用户中的口碑到底怎么样,用户喜欢这些产品什么样的功能,不喜欢这些产品什么样的功能。在之前,很多公司通过调研公司到各个城市,通过实时的访谈获得一些统计数据。整个过程要耗费一个月左右。通过舆情分析,几乎可以实时告诉你这个答案,到底有多少用户是喜欢这个功能,有多少用户不喜欢这个功能。一个月和实时的差距,就是百度大数据能给传统行业带来的竞争力。

最后,高亮表示,目前的产品只是揭开了冰山一角,在大数据这个方面,产品设计的想象力其实是很多很多的,后面会陆续推出一系列的大数据产品。

2014-09-10 01:401984
用户头像

发布了 501 篇内容, 共 277.1 次阅读, 收获喜欢 63 次。

关注

评论

发布
暂无评论
发现更多内容

C++ 学习 ------cmath 头文件的源码学习 02

Java-fenn

Java

敏捷发版:让灰度发布像commit一样简单

Speedoooo

小程序 灰度发布 小程序容器 A/B 测试

2022年云堡垒机采购就选行云管家五大理由

行云管家

云计算 网络安全 数据安全 云堡垒机

CSS 有了:has伪类可以做些什么?

Java-fenn

Java

多云管理的挑战以及如何克服这些挑战

Java-fenn

Java

【1-2 Golang】Go语言快速入门—数组与切片

Java-fenn

Java

利用AndroidNativeEmu完成多层jni调用的模拟

Java-fenn

Java

web技术分享| 虚拟列表实现

anyRTC开发者

Vue 前端 Web 音视频 虚拟列表

前端食堂技术周刊第 52 期:Babel 7.19.0、Fresh 1.1、React Native 0.70、新的 Web 性能指标 INP

童欧巴

用typescript类型来实现快排

Java-fenn

Java

性能之巅-优化你的程序

Java-fenn

Java

Java 流处理之收集器

Java-fenn

Java

不是吧,还有人不知道三目运算符的BUG

自然

Java core 9月月更

供应链金融能否成为汽车行业发展的驱动力?

旺链科技

区块链 产业区块链 汽车 供应链金融 企业号九月金秋榜

聊聊如何利用p6spy进行sql监控

Java-fenn

Java

中小企业如何有效应对计算资源的弹性变化需求?

Serverless Devs

TDengine 3.0 的 Update 有何区别?

TDengine

tdengine 时序数据库 企业号九月金秋榜

JavaScript 闭包难点剖析

Java-fenn

Java

leetcode 1110. Delete Nodes And Return Forest 删点成林(中等)

okokabcd

LeetCode 算法与数据结构

边缘计算和云计算之间的区别

Java-fenn

Java

MobPush开发过程常见问题

MobTech袤博科技

ios android 开发者

一个不用写代码的案例,来看看Flowable到底给我们提供了哪些功能?

江南一点雨

Java springboot flowable

Java基础之Java枚举

自然

9月日更 Java core

三个Spring的问题把我问懵逼了

知识浅谈

spring 9月月更

App Deploy as Code! SAE & Terraform 实现 IaC 式部署应用

Serverless Devs

以软件定义物联网芯片,以技术融合推动LPWAN2.0泛在物联

ZETA开发者

芯片 物联网, LoRa LPWA DSP

如何设计一个面向未来的云原生数据库?

Zilliz

深度学习 数据库 云原生 信息检索 向量数据库

开源是什么意思?开源软件优缺点有哪些?

行云管家

开源 软件 开源软件 开源协议

实战指南 | Serverless 架构下的应用开发

Serverless Devs

Java基础知识(一些需要注意的点)

自然

9月日更 Java core 9月月更

SQL 嵌套 N 层太长太难写怎么办?

陈橘又青

9月月更

高亮谈大数据存储、分析、产品化_百度_崔康_InfoQ精选文章