写点什么

周寻专访:系统架构领先业务半年,是优雅解决问题的关键

  • 2022-03-09
  • 本文字数:2200 字

    阅读完需:约 7 分钟

周寻专访:系统架构领先业务半年,是优雅解决问题的关键

随着互联网用户数的增长,数据量和流量的爆发式增长,常规的数据处理和服务推荐手段已经很难适应当下复杂的业务场景,如何精细、准确、高效、智能的将产品和用户联系起来,成为各个平台系统越来越关注的点。因此,基于千人千面的个人性推荐系统成为各个业务场景不可或缺的一环。


周寻老师之前在爱奇艺负责的工作都和数据和算法相关,包括爱奇艺主要流量端的个性化推荐,大数据平台化建设,比如 A/B 实验平台,用户分析平台,用户画像平台等等,总的来说是一个为全公司的业务提供数据能力,利用算法和大数据技术让业务能更加高效运转和增长的大数据中台团队。周寻有十年大数据和智能算法经验,在个性化推荐算法和平台架构、大规模 OLAP 系统、用户画像、数据科学等领域有深入的实践经验。


在 2021 年ArchSummit全球架构师峰会上,我们邀请周寻老师来担任“新时代推荐系统技术”专题出品人,策划大数据和推荐系统探索方面的议题,以下是和周寻老师的沟通整理。

亲历数据平台架构的升级


此前作为爱奇艺推荐系统和大数据应用团队的负责人,周寻老师亲历并主导了多次数据平台架构的升级,对于爱奇艺大数据架构的建设和改造,印象深刻。周寻刚加入爱奇艺的时候,负责的其中一个项目是用户画像,简单来讲就是利用用户的各种行为轨迹数据为用户打标签,当时的一个比较大的困难是用户数据散落在各个业务和系统中,数据团队花费了很多精力从各个业务系统和数据库中抽取这些信息,有时还存在用户 ID 不一致,行为埋点信息不准确等一系列问题,可以说这个阶段是非常痛苦的。


大概在 2017 年的时候,随着公司内的数据团队逐渐整合在了一起,数据的标准化和统一化成为了大数据部门的首要任务,周寻带领团队先设计了统一的公司埋点规范和用户 ID 规范,随后通过接近 2 年时间的数据中台化的建设和推进,很好的解决了第一阶段的各种痛点。随后,他们对公司内的数据产品进行了整合和 SaaS 化建设,比如面向用户侧分析的系统,面向内容侧分析的系统,A/B 实验系统等等,并在实时化、智能化、移动化三个方向着力,把数据能力前置让数据应用产品成为业务进行分析和决策的首要依靠。

推荐中台的建设背景


推荐中台本质要解决的是效率问题,当我们有很多推荐场景需要同时并行迭代优化的时候,人效提升和能力共享变成了一个亟需解决的问题。


周寻拆分成两个阶段来介绍:第一个阶段,团队实现了一些最简单的可配置化场景上线,大多是通过复用其他场景模型的方式,这样的优点是能快速接入和上线,缺点是无法很好的进一步优化推荐效果,这种方案在爱奇艺进行个性化改造的初期是一个比较好的选择。


而在用户产品的个性化渗透达到比较高程度的时候,数据团队开始着手进入推荐中台第二阶段的工作,主要目的是把一些核心组件进行配置化和开放化,这样负责不同推荐场景的工程师可以进一步开展深度优化,在配置化建设过程中也比较重视经验沉淀,把一些好的“算子”进行抽象管理,方便团队直接互相借鉴经验。随着算法成熟度和业务复杂度的不断提高,推荐中台的角色也将越来越重要。


当然,中台架构在建设过程中难免也会走些弯路。周寻认为,架构的升级往往是业务和技术双驱动,用更先进技术更好解决更复杂的问题,但架构升级往往会带来业务的阵痛期。从周寻的经验角度看,只有把架构跑在业务前面才能更加优雅的解决问题,周寻对团队的要求是架构至少应该领先业务半年,当然,这要求架构师对业务的理解和预判有更高的要求。 

算法是推荐系统的灵魂


大数据个性化推荐系统的好坏,最相关的便是其采用的推荐算法,它是整个系统的灵魂。有基于关联规则、基于内容和基于协同过滤的推荐,在选取规划上的考量因素有哪些呢?周寻说,现代的推荐系统都是多种算法的融合,同时考虑多样的业务目标,算法的选择一定要从业务本质出发,他甚至认为,关于商业逻辑的思考是算法工程师必备的课程。


此外,用户数据在推荐中扮演着重要的角色。周寻说,除了常见的用户画像能力,更重要的包括了用户行为数据的颗粒度和实时性,在爱奇艺的推荐系统中,用户的行为数据可以分为三个层次(实时,近线和离线)来影响算法策略。另外,埋点的颗粒度也会直接影响推荐系统的上限,比如用户在看视频中的拖拽行为,跳出点信息等等都可以为算法模型拿来学习。


虽然大数据个性化推荐在当前互联网行业的使用已变得炙手可热,但不可否认,很多产品的推荐效果还远远没有达到期望的那样,未来的路还很长。正如周寻所说的,推荐效果的衡量方式在不同公司不同行业的定义都不同,内容类的可能会强调用户时长,电商类的可能会强调交易,社交类的强调关系建立等等。如何定义好推荐效果指标是首先要解决的问题,这涉及到前面说的对商业逻辑的思考。同时,在产品发展的不同时期,也应该策略性的去调整推荐目标,没有定式但一定是从业务本质出发同时是数据可衡量的。


周寻:eBay 中国研发中心(CCOE)总监


推荐广告团队负责人,前爱奇艺主 App 推荐和大数据应用平台团队负责人,有十多年大数据和智能算法经验,在推荐广告算法及系统架构,用户画像,AB 实验数据科学,大规模 OLAP 等领域有深入的实践经验。


【活动介绍】


ArchSummit全球架构师峰会(北京)将在 2022 年 3 月 24-25 日举办,会议日程已上线,邀请了字节跳动、阿里、百度、京东、小米等企业的技术专家来演讲,分享微服务架构、客户端架构设计、数据库选型、LakeHouse 架构演进与数据治理实践等话题。如果您对会议感兴趣,欢迎点击【阅读原文】查看会议日程。参会购票请联系票务经理 17310043226。



2022-03-09 22:114306

评论

发布
暂无评论
发现更多内容

SCA Sentinel 分布式系统的流量防卫兵,春招我借这份PDF的复习思路

Java 程序员 后端

Redis-生产架构选型解决方案,java开发架构师

Java 程序员 后端

Redis入门到五大类型实现,java基础知识点大全

Java 程序员 后端

Redis-用的很溜,了解过它用的什么协议吗?,3天拿到网易Java岗offer

Java 程序员 后端

Redis精通系列——LRU算法详述(Least Recently Used - 最近最少使用)

Java 程序员 后端

Redis高可用篇:Cluster集群能支持的数据量有多大?,再不了解你就out啦

Java 程序员 后端

seata-golang 一周年回顾,java面试准备内容

Java 程序员 后端

Nginx面试三连问:如何工作?负载均衡策略有哪些,如何成为一个更好的Java开发者

Java 程序员 后端

pageHelper----Mybaits分页插件,mysql架构设计器没有显示

Java 程序员 后端

Redis总结,学Java必看书籍

Java 程序员 后端

RabbitMQ 可靠性、重复消费、顺序性,突围金九银十面试季

Java 程序员 后端

Redis不只是get set,八种数据类型及应用场景分析,java技术栈面试题

Java 程序员 后端

redis 在微服务领域的贡献,java制作微信小程序教程

Java 程序员 后端

Serverless Devs 的官网是如何通过 Serverless Devs 部署的

Java 程序员 后端

Redis哨兵原理,我忍你很久了!,java面试视频百度云

Java 程序员 后端

Redis面试题汇总,mysql调优面试题

Java 程序员 后端

RestFul API 统一格式返回 + 全局异常处理,linux系统编程视频教程

Java 程序员 后端

Servlet的Cookie和Session机制,面试谈谈对springboot的理解

Java 程序员 后端

OpenKruise v0,mybatis教程pdf

Java 程序员 后端

Redis分布式基石——主从复制技术详述,Java黑科技实现原理揭秘

Java 程序员 后端

RocketMQ 5,学习linux系统管理

Java 程序员 后端

oh,老哥,是码友就来看这篇多线程,mybatis的底层原理

Java 程序员 后端

Redis:看完就比常人多会三种类型实战,可以拿去炫耀了

Java 程序员 后端

Redis 千万不要乱用KEYS命令,不然会挨打的,面试必问

Java 程序员 后端

Offer经验分享 - 蚂蚁金服、字节跳动、PDD,蚂蚁金服面试Java后端经历

Java 程序员 后端

RabbitMQ实现即时通讯居然如此简单!后端代码都省得写了

Java 程序员 后端

Redis该怎么学?其实很简单,这份学习路线,mybatis架构梳理

Java 程序员 后端

Set集合无法去重相同内容的父类对象和子类对象的问题解决

Java 程序员 后端

set集合,挑战华为社招

Java 程序员 后端

OpenFaaS实战之五:大话watchdog,MySQL高可用之主备同步

Java 程序员 后端

Redis到底能干什么?又不能干什么呢?,kettle面试题

Java 程序员 后端

周寻专访:系统架构领先业务半年,是优雅解决问题的关键_AI&大模型_Xue Liang_InfoQ精选文章