AIGC 应用、数据分析等企业 10+ 热门专题课,就在极客时间企业版>>> 了解详情
写点什么

那些数据工作中的角色

  • 2021-07-20
  • 本文字数:3252 字

    阅读完需:约 11 分钟

那些数据工作中的角色

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!

数据工作中有一类非常重要的角色,那就是数据分析师。为什么这个角色这么重要呢?因为要是没有这个角色,不管一个企业中的数据管理做得有多么好都没用,都无法带来实际的价值。这些数据就像是藏在海底的石油,而数据分析师就是开采海底石油的油井设备。要想让石油用于汽车轮船,需要通过这些设备先将海底的石油抽取出来,经过加工处理,提纯。

数据分析师

这个角色通常做什么呢?数据分析师的日常工作当然就是做数据分析。比如要分析一个应用的客群特征,分析用户的留存率,活跃程度等等。但是,对于数据分析工作,最重要的是业务理解,对软件开发技术的要求其实并不高,能写 SQL 就能完成大部分工作了。比如留存率的计算,技术上一个带 join 和 where 的 SQL 查询就实现了,但是分析的目标远不止于此,对于分析而言,更重要的是要知道为什么留存率是计算出来的这个数值以及这个值究竟意味着什么。考察为什么是这个数值,可能会发现是由机器人贡献了较高的留存率,企业内员工也贡献了较高的留存率,真实的用户其实贡献了一个较低的留存率。考察这个值究竟意味着什么,首先会观察其变化趋势,可能会发现留存率有所上涨或下降,然后,最重要的,根据这一情况应该从业务上做些什么。


从这里的分析可以看出,数据分析师是具备一定的技术能力,但更偏业务的一种角色。可能有人会说,我之前在互联网公司待过很长时间,似乎也没听说过需要这样一种角色呀。没错,其实在很多规模不大的互联网公司,根本没有明确定义数据分析师这样的角色,但这一角色并非不存在,通常这样的角色是被市场运营人员和产品经理兼任了。当前国内的互联网公司普遍招聘的产品经理或运营人员的一个重要的能力要求就是会分析数据,然后根据数据改进产品设计或改进运营策略。我见到过很多公司的产品经理和运营人员写 SQL 写的非常溜,他们正是在进行分析数据,并根据数据进行业务改进。

数据科学家

对于数据分析师而言,技术上只要会 SQL 就够了么?当然不是。当业务发展到一定程度之后,想要做到精细化的运营,简单的 SQL 工具可能就无法满足数据分析师的需求了。这时,可能要请出来一些大家觉得高大上的算法模型了。


比如,要做客群细分,是不是要来个 RFM 模型呢?要挑选一些客户来做营销,是不是要做个逻辑回归模型来预测一下哪些客户是潜在的高价值营销客户呢?想做交叉销售提升现有客户价值,是不是要来个关联分析呢?一旦涉及到建模分析,问题就不一样了,这些分析手段非常专业,非计算机专业,数学能力比较差的同学接受起来可能就会比较困难。但也绝非不可能,市场上其实已经有很多专门为建模分析而生的专业工具了。其中最有名的莫过于 SAS。只需要使用者明白基本的算法原理,然后跟随软件的可视化引导进行操作就可以完成基本的建模分析。


这样一来,是不是具有计算机或者数学背景的偏业务的数据分析师们也可以来做了呢?有不少公司将同时懂业务,会 SQL,会建模分析的人员称为数据科学家。需要拥有这么多的交叉专业背景,这一角色的门槛显然非常高了。然而,数据科学家这一角色对于一个日渐壮大的企业而言却是非常重要的,常常可以带来企业核心竞争力的进一步提升,为企业建立竞争壁垒。按照前面对数据科学家的定义,企业内部常常是缺少堪称数据科学家的人才的。即便有,也更多是某一领域的数据科学家,因为需要有深厚的业务知识积累。而一个人其实是很难具有多个行业多个领域的业务经验的。所以,一般而言,企业中更多的人才资源是数据分析师,即便有数据科学家,可能更多也谦称为数据分析师。当然可能也有另一个原因,数据分析师的名字听起来会更偏解决实际业务问题,而数据科学家则更像是偏学术理论研究。

数据工程师

数据工作当然还少不了一类角色,那就是数据工程师。不管是数据分析师还是数据科学家,都是基于数据进行分析的。那数据从哪里来,数据管理是不是做的足够好,数据提取是不是足够容易,在大规模的数据集上面进行计算是否高效,这些问题常常成为了挡在数据分析师和数据科学家前面的一堵墙。为了打破这堵墙,就需要数据工程师了。


所以,数据工程师的职责是什么呢,那就是为数据分析师和数据科学家服务。将数据有效的管理起来,让他们可以轻易的获取并理解数据。为他们提供分布式的探索环境,让他们可以高效的在大规模的数据集上面进行计算。除了为数据分析提供服务,数据工程师还需要做好其他的企业数据管理工作,比如数据安全,数据标准,数据质量管理等。想做好企业数据管理并非易事,如何在企业内部建立数据标准,如何进行数据安全定级,并分别对不同安全级别的数据实施不同的安全策略,如何推进企业数据质量建设。


这些问题没有一个是可以轻易做到的,非但不能轻易做到,甚至对数据管理经验要求非常高。这对于数据工程师的行业经验、工程经验都提出了更高的要求。业界通常将有这些经验足够丰富的数据工程师称为数据架构师。

转型到数据分析师

能不能不要数据分析师呢?经过前面的角色拆解分析可以知道,企业里面总是会先有数据分析师(即便可能暂时没有这个称号),再有数据工程师。如果一项数据工作中没有数据分析师,那这个项目就很容易演变成一群做技术的人的自嗨,搭建各种前沿大数据平台,什么分布式计算流式计算一起上,做了很长的时间烧了大把经费之后发现没有什么可见的业务价值,然后不得不因为项目经费的原因遗憾收场。


所以,要想做好数据这块业务,数据分析师这一角色是不可缺少的。如何应对数据分析师的短缺呢?最直接的办法就是扩充拥有数据分析能力的人才了。人才可以有两方面来源,一是招聘,二是内部转岗。首先看内部转岗。内部转岗可以说是最先采用的人才扩充方式。能不能由软件开发人员转做数据工程师或者数据分析师呢?其实软件开发人员转做数据工程师相对是比较容易的。但是还是需要补充较多的数据专业能力,比如数据仓库的建设方案,如何进行数据建模,如何进行数据治理,如何进行数据开发和调试,如何实现数据服务及可视化,如何打造数据平台等。能不能由软件开发人员转做数据分析师呢?


这种情况就比较有难度了。主要是业务思维和技术思维有着很大的不同,业务思维想要解决当前的业务问题创造利润,怎么快怎么做,看重可操作性和效果而非技术,而技术思维却是想着维护产品的高质量,稳步的进行迭代演进。所以,我们常常见到,业务人员不能理解做技术的要考虑各种边界情况,各种依赖情况,导致一个功能要做很久;技术人员也不能理解业务为啥要天天变,刚做好的功能还没产生业务价值又要推翻重来。除了思维方式需要转变,业务经验积累也变成了这里的角色转变的绊脚石。能不能由 BA 转做数据分析师呢?我们看到公司内部其实有不少数据分析师是 BA 的角色转变而来的。


但是新的角色对于 BA 而言同样存在很大的挑战。比如如何快速的去熟悉一个新行业的业务,如何提升 SQL 技能,甚至如何自我学习和提升达到具备进行统计分析,假设检验,建模分析的能力。这些都是不容易的。

企业数据人才结构

前面介绍了数据工作的相关角色,隐隐约约可以看出企业数据人才组成结构了,我们姑且将其称为企业数据人才架构。用一张简图可以表示如下:

前面只是最基本的角色定位,在实际企业环境中,常常会由于各自的企业基因和文化而有所不同。比如,如果是一家创业型小公司,可能就只分为技术、产品、运营三种大的角色。技术人员将完成业务功能开发、运维、数据管理等等一系列工作。产品人员将基于产品数据分析完成产品设计和优化。运营人员将基于运营数据分析完成运营策略、运营活动的设计等。


如果这家创业型公司以业务为核心,那么可能前期会直接采购相关的软件产品,连技术和数据分析都没有。一家以软件技术为核心的中型公司(比如互联网公司),业务逐步成熟,就开始设置专门的数据部门和数据工程师岗位。而一家以业务为核心的中型公司(比如零售、保险等公司),业务逐步成熟,就开始设置专门的数据分析部门和数据分析师岗位。随着业务的进一步扩大,各个角色的专业性越来越强,大型企业中常常设置数据架构师、数据科学家等角色,以应对特别复杂的业务场景。


本文转载自:ThoughtWorks 洞见(ID:TW-Insights)

原文链接:那些数据工作中的角色

2021-07-20 08:001288

评论

发布
暂无评论
发现更多内容

“程”风破浪的开发者|我的js之路

隔壁老帆帆

学习方法 1024 1024程序员节 “程”风破浪的开发者

TOGAF认证考试开启“主线+支线+副本”模式!

涛哥 数字产品和业务架构

敢承诺安全效果?IT人竟能如此省心

科技热闻

学C++的以后都能从事哪些岗位?

C++后台开发

c++ 后端开发 客户端开发 linux开发 C++开发

这么多大数据培训机构怎么来选择呢

小谷哥

深圳开发培训学习怎么选择靠谱的机构?

小谷哥

浅谈Python中的生成器

何极光

Python 生成器 10月月更

精盾信息莅临千锋教育武汉校区招聘前端开发工程师

千锋IT教育

千锋教育走访人才合作企业数式科技 深度了解企业人才需求

千锋IT教育

实时数据湖 Flink Hudi 实践探索

阿里云大数据AI技术

大数据 flink 企业号十月 PK 榜

找个好用的录屏软件,怎么这么难?

淋雨

Camtasia

腾讯升级云原生产品布局 助力企业数字化转型更进一步

科技热闻

和鲸 ModelWhale 入选《2022爱分析 · 数据智能厂商全景报告》

ModelWhale

机器学习 数据智能 数据科学 厂商

九科信息RPA助力某大型航运企业财务部门降本增效,实现业务流程自动化操作

九科Ninetech

Zepoch已售出500+,Zebec Chain受到市场追捧

西柚子

SSH的工作原理、加密方式以及配置多个ssh key

甜点cc

前端 学习笔记 加密 SSH 10月月更

Go语言入门10—Map

良猿

Go golang 后端 Go web

面向复杂业务场景下的低代码平台组件设计与实践分享

Baidu AICLOUD

组件化 低代码开发平台 数据映射

OneFlow源码解析:Global Tensor

OneFlow

人工智能 深度学习 源码解析

Spring Boot「18」使用 JDBC 连接数据库

Samson

Java spring 学习笔记 spring-boot 10月月更

Mac Osx终端显示图片

alps2006

terminal osx

重磅,无需特殊工具,直接访问网站!

八点半的Bruce.D

前端培训学习的人这么多,行业前景怎样

小谷哥

web前端开发培训有前途吗?

小谷哥

浅谈 Python 中的迭代器

何极光

Python 迭代器 10月月更

安全可控的企业级低代码开发平台

力软低代码开发平台

OpenHarmony将携新成果亮相HDC2022

OpenHarmony开发者

OpenHarmony

2022年汽车品牌智能网联竞争力指数(ICVCI)

易观分析

汽车 ICVCI 智能网联

阿里云注册集群+Prometheus 解决多云容器集群运维痛点

阿里巴巴云原生

阿里云 云原生 Grafana Prometheus

LED显示屏安装之前要注意的问题

Dylan

LED显示屏 户外LED显示屏 led显示屏厂家

前端比较好的培训机构是哪家?

小谷哥

那些数据工作中的角色_大数据_张凯峰_InfoQ精选文章