写点什么

B 端大数据应用的架构实践与思考

  • 2018-12-03
  • 本文字数:3221 字

    阅读完需:约 11 分钟

B端大数据应用的架构实践与思考
00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    InfoQ:各位观众大家好,我们现在正在 2018 QCon 全球软件开发大会上海站的现场,InfoQ 很荣幸地邀请到了国双科技 技术总经理何恺铎老师接受我们的采访,首先请何老师简单介绍一下自己吧。


    何恺铎:好的,大家好,我叫何恺铎,是国双科技的技术总经理。我们国双科技是 05 年成立,到现在有十几年的历史,在 16 年,我们在纳斯达克上市,那么在这十几年当中,我们一直专注于做数据的分析和相关咨询的业务,我们是一个为企业服务的公司。


    InfoQ:何老师,同样是处理大数据,您认为 B 端和 C 端大数据处理的最大差异是什么,在架构实践上需要做出怎样的针对性调整呢?


    何恺铎:B 端和 C 端的确有比较大的一个差异,我觉得最核心的一点主要体现在我们的 B 端需要同时适应多个客户的场景和需求,有的时候我们也要针对一些行业的特点去进行更高层面的抽象。这里面主要分析的抽象单位,可能有一些区别。所以在这里面,我觉得抽象以及抽象对应的实现是 B 端大数据的应用当中最关键的部分,这也是在刚才的演讲当中,我们着重去剖析的那个部分。


    InfoQ:那在架构实践上需要做出哪些针对性的调整呢?


    何恺铎:我觉得主要就是针对这个多租户的情况,以及在我们的演讲当中提到的多态情况去进行比较针对性的设计,建立这样一个以元数据配置为中心的架构体系,应该是 B 端比较显著的特点。


    InfoQ:企业在做大数据转型的时候从哪方面切入会比较好呢?


    何恺铎:这是一个比较大的话题了,我个人的建议是,我们可以针对我们现在企业的业务痛点去入手,围绕当前这个业务的痛点去分析,对于这块相关的数据进行妥善的梳理,然后评估针对这一块和痛点相关的业务数据,能够帮助我们去发现什么样的价值,以及我们可以采取怎么样的行动。


    InfoQ:我们知道架构其实是在做一种权衡和取舍,比如在可用性、性能、准确性等方面,对于 B 端大数据应用的架构来说,哪些方面更为关键呢?


    何恺铎:对于 B 端来讲,刚才您提到的这个我们不管是可用性还是性能,这些我觉得都是一样的。比较有特点的,就是在 B 端来讲,需要注意和成本的平衡,因为不管是人力方面还是硬件方面,我们也没有办法去做无尽止的投入,我们需要通过巧妙的架构的设计,能够在我们的成本和产出之间取得一个比较好的平衡,在做 B 端大数据架构的时候的确需要着重去考虑。


    InfoQ:你们在做大数据转型的过程中曾经遇到过哪些坑吗?如果有重新再来一次的机会,你们有没有想到更好办法绕过它们或解决它们?


    何恺铎:我们在很多不同的产品,不同的研发的过程当中,的确也有一些经验和教训,我觉得比较需要小心处理的一个点可能是关于遗留系统的处理,因为 B 端的特点决定了它可能会存在很多遗留的系统,或者说系统老的版本,但是我们为了保证客户服务的稳定性,我们是需要继续对这些版本进行维护。所以我认为这里面特别要当心的,主要是在于说,对于,当我们对老版本的进行升级的时候,需要注意,它和老版本的一个兼容性,能够保证对客户有一个比较平滑的升级的体验,这点是非常关键的。


    InfoQ:根据现有数据去深入分析挖掘,或者基于业务去获取数据,你是如何看待这两种方式的?


    何恺铎:我觉得通过现有数据去分析,它成本比较低,就是我们现在可以看看现在手头有哪些东西,让他去给我们一些洞察,但是这个问题没有一个一致的答案,因为它最终还是取决于我们前面提到的业务的痛点在哪里,如果围绕这个业务的痛点,我们最需要分析的那个方向,它的数据如果是现成的,当然自然是最好,如果并没有,那我们就需要花力气去做相关的采集、梳理和治理的工作,这个更多的是取决于我们现有的数据是不是和我们的业务的痛点是匹配的,更多的是围绕业务的需求去编排、管理、收集我们的数据。


    InfoQ:也就是说这两种方式没有绝对的好?


    何恺铎:当然,还是要事先要想清楚,你业务上想要达到什么目的,再去决定怎么样的数据去辅助这个目的。


    InfoQ:企业做大数据转型时,是不是组织架构也需要做一定的调整?


    何恺铎:这也是一个非常好的话题,因为我们所有的事情都是和人相关的,最终由人来去落地和执行,企业的组织架构的确会有比较大的影响,在数字化转型过程当中,不管是程度的深浅,还是进度的快慢,的确会有很大的影响,我见过两种方式,一种方式更多的是业务驱动,业务部门有比较明确的需求,它来驱动,但是它需要 IT 技术的相关支持。

    另外一种方式我们也见过,就是更多的是公司从 IT 去主导这个事情,我们需要建立数据平台,做这个转型,那么它需要去联合我们企业的其他业务部门,来达到这个目的,那么我个人的感觉,如果说我们要把这个数字化转型做得顺利和彻底,它最好需要得到企业高层的一个强而有力的支持,让这件事情不再仅仅从单部门角度去考虑这个事情,而是自上而下,能够在企业当中去推广这样的一种方法论,我觉得这样它的阻力和它最终的这个效果就会很好,这也是为什么现在很多企业会设立 CDO,Chief Data Officer 这个职位的,我想一个很重要的原因,就是为了能够自上而下去协调整个企业。


    InfoQ:那在这个过程中它会对应用架构产生怎样的影响?


    何恺铎:应用架构你指的是哪个方面的?


    InfoQ:就是我们那个技术方面的。


    何恺铎:啊,就是对应的这个技术是吧?明白。我觉得它更多的,当这个组织架构梳理得比较清晰了,并且能够形成这样的一个自上而下的这个体系的时候,对我们的应该说是先影响到我们的产品的架构,因为产品会定义我们的组织当中的不同的角色,他们之间的分工,以及一个事情的流转的这样的一个方式。所以它组织架构首先会影响产品架构,产品架构就会影响我们的技术架构,是这样一个逻辑。


    InfoQ:如今围绕大数据有很多的平台和框架,在解决方案选型时,针对不同的业务特点是不是需要做出不同的搭配?针对不同的行业,你是否有一些推荐的备选项呢?


    何恺铎:现在的这个应该说在大数据处理方面已经非常成熟,百花齐放的一个状态,我们有很多,可能做一件事情也有不同的框架去进行选择,我的一个建议呢,是可以根据我们企业现在的人才的一个情况,我们对于哪一块比较熟悉,哪一种方式,我们比较驾轻就熟,那么这样呢,我们可能能够花比较少的时间在学习上,而是能够更多的专注在业务问题的解决上面,这是我的一个建议,另外一个建议呢,可能尤其是对于很多传统企业来讲,会推荐使用云端的一些和大数据相关的一些框架和技术的。因为在云端我们很方便的,一方面能够使用到公有云厂商自己提供的实时处理,或者大数据批量处理的一些解决方案,使用的门槛并不高,另一方面,这些云也都会提供开源社区比较标准的,开源体系下面大数据处理方案,并且它会随着这个技术的趋势,它可以不断的往里面去增添新的东西,某种程度上来讲跟着云厂商的节奏对企业来讲是一个不错的选择。


    InfoQ:那最后你可以展望一下大数据的未来的发展,你觉得它虽然现在很火,那它是否真的实现落地,然后真的有未来?


    何恺铎:我觉得将来会是这样的一个状态,我们也许不会再去反复的强调说 Big Data 这个词,而是它会润物细无声的,就是自然而然的成为我们生活、业务、企业当中一个很自然的组成部分,它会无处不在,所以呢,当然它的未来是会前景是非常好的。


    InfoQ:那您认为未来会影响大数据最大的关键因素是什么?技术还是资本,或者说国家层面的一些政策?


    何恺铎:一方面是技术,因为在技术上,我们还是可以看到它有一些很明显的趋势,比如说我们的实时和这种批处理的方式在不断的融合,比如说它的易用性,它的这个使用的门槛也越来越降低,所以这是技术方面的趋势,至于说未来,我觉得它的确也会受到政策的影响,因为我们也看到这个现在我们对于数据的保护,这个意识越来越强,像欧盟有 GDPR 的标准,我觉得中国也有我们的网络安全和数据保护相关的法律条例,我觉得我们同时的确也需要对数据有敬畏之心,那么在一些应用的场合也要,有一些地方要保证合理的克制,比如在广告的领域,我们可能会对我们的用户的 ID,设备的 ID,一定要做非常小心的处理,避免它的滥用。


    InfoQ:以上就是我们今天的采访,非常感谢何老师,谢谢。


    何恺铎:谢谢!


    2018-12-03 10:004832
    用户头像

    发布了 1452 篇内容, 共 680.9 次阅读, 收获喜欢 2481 次。

    关注

    评论 1 条评论

    发布
    暂无评论
    发现更多内容

    Connection reset

    领创集团Advance Intelligence Group

    Connection reset

    连续3年实力登榜!EMQ映云科技再度跻身“2022中国边缘计算企业20强”

    EMQ映云科技

    物联网 IoT 边缘计算 emq 5月月更

    OpenHarmony兼容性平台更新上线

    OpenHarmony开发者

    OpenHarmony 兼容性平台

    墨天轮访谈 | 百度云邱学达:GaiaDB如何解决云上场景的业务需求?

    墨天轮

    数据库 百度云 国产数据库

    云图说|DDS读写两步走,带您领略只读节点的风采

    华为云开发者联盟

    数据库 华为云 读写分离 DDS

    主流开源分布式图计算框架 Benchmark

    NebulaGraph

    图计算 分布式图数据库

    一名优秀的算法工程师,日常都做些什么呢?

    非凸科技

    招聘 社招 校园招聘

    跟我学Python图像处理丨掌握4种图像平滑算法

    华为云开发者联盟

    Python OpenCV 图像属性 兴趣ROI区域 图像通道

    OpenHarmony布道师招募正式启动,打造个人技术影响力的机会来了!

    科技汇

    黎明前的至暗时刻,旅企是该坚守还是放弃?

    易观分析

    旅游业

    WordPress 固定链接设置

    海拥(haiyong.site)

    5月月更

    node爬虫爬取小说章节

    空城机

    爬虫 Node 5月月更

    融云参编,业界首个办公即时通信软件安全标准重磅发布!

    融云 RongCloud

    百问百答第37期:如何一次性贯穿前后请求,调用链告诉你答案

    博睿数据

    调用链 博睿数据 IT运维

    加速虚拟与现实交互,2022视觉计算私享会邀请你一起沉浸体验

    阿里云弹性计算

    vr 虚拟现实 元宇宙 视觉计算

    架构实战营 第 6 期 模块五课后作业

    火钳刘明

    架构实战营 「架构实战营」

    网络协议之:memcached text protocol详解

    程序那些事

    Java Netty 网络协议 程序那些事 5月月更

    手把手,带你用数据做好迭代复盘改进 | 敏捷开发落地指南

    阿里云云效

    阿里云 敏捷开发 研发 迭代管理 项目协作

    RGB色彩空间

    Loken

    音视频 5月月更

    大咖说 X 智篆商业|未来五年:消费增长的“两大来源”与“四个方面”

    大咖说

    阿里云 存量时代 智篆商业

    OpenHarmony 3GPP协议开发深度剖析——一文读懂RIL

    OpenHarmony开发者

    OpenHarmony RIL

    豆瓣评分8.5,详细讲解Python基础知识和应用的百科全书来了!

    图灵教育

    Python 程序员 计算机

    还有谁不知道CRM系统可以为企业做这些?

    低代码小观

    CRM 客户关系管理 CRM系统 客户关系管理系统 企业管理软件

    2022开源之夏 | 龙蜥社区@你,快来报名

    OpenAnolis小助手

    开源软件 龙蜥社区 开源之夏 供应链点亮计划 学生开发者

    易周金融观点 | 支付机构入局数字藏品;Q1手机银行交易超150万亿

    易观分析

    金融

    一个无经验的大学毕业生,可以转行做软件测试吗?我的真实案例

    伤心的辣条

    Python 程序人生 软件测试 自动化测试 测试 单元测试

    CWE 4.7中的新视图:工业控制系统的安全漏洞类别

    华为云开发者联盟

    安全漏洞 cwe 软件安全 CWE 4.7 工业控制系统

    如何写出GC更优的代码,以达到提升代码性能的目的

    非凸科技

    性能 编程语言 垃圾回收 GC 吞吐率

    国内外最顶级的12大看板工具

    爱吃小舅的鱼

    做本让客户念念不忘的产品手册

    小炮

    产品手册

    【Linux深潜】详解Linux系统自身安全调优配置

    沃趣科技

    Linux

    B端大数据应用的架构实践与思考_大数据_InfoQ 中文站_InfoQ精选文章