【AICon】探索八个行业创新案例,教你在教育、金融、医疗、法律等领域实践大模型技术! >>> 了解详情
写点什么

145 亿次播放,6 千余万用户,凯叔讲故事 APP 数据埋点治理及分析实践

  • 2022-09-01
    北京
  • 本文字数:2109 字

    阅读完需:约 7 分钟

145 亿次播放,6 千余万用户,凯叔讲故事 APP 数据埋点治理及分析实践

2014 年,前央视主持人凯叔创办北京凯声文化传媒有限责任公司,并于 2016 年推出凯叔讲故事 APP。截至目前,凯叔讲故事 APP 总用户数量已经超过 6000 万,总播放超 145 亿次,用户平均日收听时长可达 70 分钟。内容形式及用户数的不断增多导致内部形成了一张错综复杂的数据网络,亟待被厘清。


本文,从数据驱动全链路技术难点解析入手到“凯叔讲故事”的具体解决方案分享,希望为广大企业和开发者提供有效的建设路径参考。

数据驱动全链路技术难点解析


过去十多年,我们可以看到全球很多互联网公司通过数据驱动决策在各个领域里取得非常好的效果,也经历过从没有数据、没有指标,到后来的全面数据采集,大量的决策都基于数据驱动的理念进行,并在整个行业流行数据驱动型决策 (DDDM) 文化。甚至,很多企业都设有“首席数据官”这一职位,普华永道思略特(2011 年)对全球市值最大的 2500 家上市企业调查显示,已任命首席数据官的比例为 21%。


但是,数据驱动增长这件事情存在很大的技术挑战。首席数据官既要面对在传统信息化建设中留下的“信息孤岛”、“信息烟囱”等阻碍数据发挥价值的“绊脚石”,又要面对“垃圾进垃圾出”的低质量数据,还要驱动文化变革使大家接受以数据来驱动业务的数据文化思维。更具体地来说,数据驱动体系涉及数据采集、指标体系、数据分析、业务增长归因及精准运营多个环节,每个环节又都存在众多要解决的问题。


在数据采集层面,埋点设计至关重要,埋点数据的质量直接影响后续的数据应用质量和数据回溯。但在实际的工作中,我们经常面临埋点重要信息缺失、埋点少、埋点口径不统一或者埋点浪费等问题,要保障埋点数据的质量,埋点验证也很关键,要做好埋点验证面临着很多技术挑战,比如易用性、准确性、实时性、稳定性、扩展性。


在指标体系搭建层面,指标定义环节可能存在指标管理不统一、指标口径不一致、指标流程不规范等问题;指标生产环节,企业可能面临着重复建设,数据汇算成本较高等问题;指标消费环节可能存在数据出口不统一、重复输出、输出口径不一致等问题。这些都造成指标管理混乱,数据价值未得到充分发挥。


在数据采集和指标体系搭建完成之后,我们需要合适的分析模型、归因模型发现指标背后的增长可能,找到可能带动增长的方法,并固化为行之有效的业务范式,最终实现精准运营。


在这个过程中,有很多开源和商用方案可以选择,但效果不一。仅在埋点治理层面,凯叔讲故事 APP 就经历过自研和采用第三方数据产品两大阶段,在技术路线选择上有一定发言权。

凯叔讲故事 APP 四个月完成埋点生命周期全流程自动化

业务现状


凯叔讲故事 APP 从诞生到成熟已经走过 6 个年头,随着用户量量级不断上涨,从前线市场反馈过来的新需求日渐增多,对数据的把握与洞察也有了更高要求,而更多的用户和数据量级带来的也是更大的压力。


仅在埋点治理层面,凯叔讲故事 APP 就经历过自研和采用第三方数据产品两大阶段。其中,数据上报不准确、点位管理混乱、验点难,属于老大难问题。北京凯声文化传媒有限责任公司研发 VP 万路表示:“尤其是验点的问题,由于没有合适的验检工具,开发人员不得不通过抓包的形式来进行,如果验证点位不够准确,甚至需要一个字段一个字段地比对,耗时耗力却不能保证 100% 的准确率,这使得开发人员一度对验点产生了抗拒的情绪。”

决定重构,引入 DataFinder 解决问题


2022 年 4 月,凯叔讲故事对 APP 进行了一番重构,不仅重写了底层代码,还首次引入了火山引擎的用户增长分析平台 DataFinder。万路表示:“因为之前我们也有用过其他厂商的产品,说实话,在投入相当人力、时间的前提下,距离我们的预期还是存在一定差距。”


4 月份至今,DataFinder 为开发团队能效带来了巨大提升,不仅有效解决了此前凯叔讲故事 APP 埋点结构缺乏整体规划、数据模型冗余、效率低、数据质量不高、数仓团队压力大等问题,还实现了埋点需求管理、埋点方案设计、埋点评审、埋点生命周期管理等全流程的线上化与自动化。在异动指标方面,火山引擎提供十余种分析模型,帮助开发团队快速定位问题,提升排查效率。


以验点为例,DataFinder 实时埋点验证和用户细查的功能,将这项任务的耗时从过去的至少三天缩减到仅需 2 到 3 个小时,而且随时随地可以查询,得到了开发团队的一致好评。


后续,DataFinder 提供的产品能力和服务,也让凯叔讲故事的技术团队有了一些惊喜。通过对 DataFinder 产品的实际运用,以及现阶段初显的业务效果,凯叔讲故事技术团队对火山引擎云上数据产品有了更多兴趣,期待能够在未来与火山引擎有更多场景的合作。


对 DataFinder 在内的火山引擎全系列云上数据产品来说,加强与凯叔讲故事 APP 等企业的持续合作,是继历经字节跳动内部多业务多场景打磨后,自身数据能力面向外界产品化输出时的关键一步。


最后,DataFinder 的产品官网提供了完善的使用文档,可以帮助企业和开发者快速开启“增长分析”之旅。如果你对数据驱动的全链路技术还处在观望阶段,或者有计划进行内部改造还未有具体步骤,再或者你恰好就是扛起这面大旗的首席数据官,都可以在 9 月 2 日观看火山引擎数据智能科技峰会。届时,火山引擎云上全系列数据产品会集中亮相,并迎来部分产品的重磅发布与能力升级,总有一个可以解决你的问题。



公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2022-09-01 09:502813
用户头像
赵钰莹 InfoQ 主编

发布了 874 篇内容, 共 605.1 次阅读, 收获喜欢 2671 次。

关注

评论

发布
暂无评论
发现更多内容

SphereEx 创始人张亮荣获『2021 年度海纳奖——分布式数据库十佳实践人物』

SphereEx

数据库 开源 ShardingSphere SphereEx 海纳奖

魔电熊户外电源体验|让户外露营实现用电自由!

科技热闻

大数据开发之Hive表数据同步至HBase

@零度

大数据 hive HBase

Tableau Day2: 可视化入门图形制作

贾献华

1月月更

优化服务器存储架构——Amazon EBS io2 Block Express正式推出!

亚马逊云科技 (Amazon Web Services)

存储

敏捷真的是开发者的绊脚石吗?

LigaAI

敏捷开发

Linux之chown命令

入门小站

Linux

iOS开发-数据结构与算法学习之排序篇

iOSer

ios 算法 数据结构与算法 ios开发 iOS 知识体系

设计是表达的艺术,不是艺术的表达

Yisen玩设计

知乎基于Palo的用户画像和实时数仓构建实践

百度开发者中心

大数据

常用开源监控系统分析推荐(必备知识)|附优质监控书籍资源

云智慧AIOps社区

安全 监控宝 监控工具 开源软件 运维管理

【量化】量化交易入门系列4:经典的量化交易策略(下)

恒生LIGHT云社区

量化策略 量化投资 量化交易 量化

专家带你吃透 Flink 架构:一个新版 Connector 的实现

腾讯云大数据

flink 流计算 Oceanus

图形测试分析毫无头绪?HarmonyOS图形栈测试技术帮你解决|HDC2021技术分论坛

HarmonyOS开发者

HarmonyOS

网络安全好学吗?手把手教你学利用漏洞渗透 网络安全工程师学习资料汇总

学神来啦

开源堡垒机可以一直免费使用吗?为什么?

行云管家

开源 网络安全 堡垒机

手把手教你使用 Timestream 实现物联网时序数据存储和分析!

亚马逊云科技 (Amazon Web Services)

存储

二哥的小破站终于上线了,颜值贼高!

沉默王二

Java 分布式

有道围棋 AI:智能匹配儿童棋力的良师益友

有道技术团队

网易有道 围棋

TDengine助力京东云IoT数据统计改造

TDengine

数据库 tdengine OpenTSDB

低代码音视频开发训练营正在火热报名中!

阿里云视频云

阿里云 低代码 低代码平台 媒体处理 视频云

在Amazon SageMaker中灵活使用多种存储服务

亚马逊云科技 (Amazon Web Services)

存储

EventBridge 最佳实践场景:流计算 Oceanus 告警消息实时推送

腾讯云大数据

flink 流计算 Oceanus

有了这个新特性,一扫实例存储数据丢失风险!

亚马逊云科技 (Amazon Web Services)

存储

【工具推荐】Github国内访问速度太慢?一招教你轻松搞定

恒生LIGHT云社区

GitHub

教程直播第6期 | OceanBase 如何进行 Benchmark 测试及调优

OceanBase 数据库

oceanbase OceanBase 开源 OceanBase 社区版

前端开发之CSS样式——自定义滚动条

@零度

CSS 前端开发

在线CSS代码压缩美化工具

入门小站

工具

SAP HANA Delivery Unit概念简述

Jerry Wang

数据库 内存数据库 1月月更

十三部门修订发布《网络安全审查办法》,企业数据安全合规应尽早

行云管家

云计算 互联网 网络安全 数据安全

利用Graviton2和CloudFront为S3对象存储动态生成缩略图

亚马逊云科技 (Amazon Web Services)

存储

145 亿次播放,6 千余万用户,凯叔讲故事 APP 数据埋点治理及分析实践 _AI&大模型_赵钰莹_InfoQ精选文章