阿里云「飞天发布时刻」2024来啦!新产品、新特性、新能力、新方案,等你来探~ 了解详情
写点什么

电商直播平台如何借助容器与中间件实现研发效率提升 100%?

  • 2021-03-06
  • 本文字数:2902 字

    阅读完需:约 10 分钟

电商直播平台如何借助容器与中间件实现研发效率提升100%?

前言

直播带货是近期发展非常迅猛的一种新的电商模式。构建一个电商直播平台从技术角度上大致可以分为视频直播服务、CDN、前端(H5/ 小程序)、大数据、以及各种业务后台,如直播互动、商家和运营平台等。相比于传统的电商系统,电商直播平台有一些类似的地方,如系统需要具备高并发的能力来应对流量洪峰;但同时直播业务也有一些独有的特性:

 

  • 直播业务的潮汐特性,需要更强的弹性能力及成本优化方案。

  • 微服务化后,要求更高的开发效率,以及更精细化的流量控制。

  • 直播互动有着非常高的实时性,系统需要具备前后端监控一体化的能力。

  • 直播业务涉及到后期音视频的处理需要合理分配计算资源。

 

可以看到上述特性都是一些非业务性的需求,为了达成这一目的,企业需要在 IDC 额外投入大量的人力进行基础设施的建设和维护。目前,越来越多的企业已经迁移到云平台或者正在向云平台迁移的过程中,如果能将这些非业务功能下沉,利用云平台提供的产品 &技术来承接这些能力的话,企业就完全可以专注于业务本身,实现快速迭代、独立高效、减轻成本。


云原生架构正是为此而生。

什么是云原生架构?

云原生架构是基于云原生技术的一组架构原则和设计模式的集合,旨在将云应用中的非业务代码部分进行最大化的剥离,从而让云设施接管应用中原有的大量非功能特性(如弹性、韧性、安全、可观测性、灰度等),使业务不再有非功能性业务中断困扰的同时,具备轻量、敏捷、高度自动化的特点。

 

为实现云原生架构,必然需要依托于各种云原生理念、实践及技术,即云平台所提供的容器、微服务、DevOps、Service Mesh、Serverless 和中间件等服务。从 CNCF 的定义来看,采用基于云原生的技术和管理方法,将更好地把业务生于“云”或迁移到云平台,从而享受“云”的高效和持续服务能力。

电商直播需要哪些云原生解决方案?

电商直播平台系统为了满足业务的快速发展,需要具备一些额外能力(当然这里可能只是一部分),我们暂时以这些为例,将需求进一步总结抽象,大致可以归纳为以下几点:

 

  • 极致弹性和成本;

  • 微服务治理及流量控制;

  • 立体化监控;

  • 音视频处理自动化,计算资源按需使用。


为解决以上痛点,接下来围绕电商直播平台,详细介绍在一些典型的业务场景下,阿里云提供的一整套云原生解决方案。

容器服务 ACK 解决对成本和极致弹性的诉求

传统架构在应对“电商直播”这种新式互联网化业务时,常常面临发布迭代效率低、高峰期扩容慢、运维复杂度高三大痛点。同时直播业务有典型的瞬间流量冲击问题,无法有效预估峰值,并且高峰期间对延迟敏感,通过扩容 K8s Node 节点方案无法满足业务需求。

 

直播业务可以借助阿里云容器服务 ACK + VK (Serverless ECI 基础设施)架构,解决直播业务对成本和极致弹性诉求,具体体现在:


  • 研发效率提升 100%;

  • 运维资源基本解放;

  • 弹性 Serverless ECI,资源成本降低 60%~70%。

 

同时通过纳管注册形态,可以实现将其他云平台和 IDC 自建 K8s 集群进行统一管理,帮助客户抹平了多云架构中日志采集、监控等运维管理的差异性,大幅提升了整体运维效率。

 

微服务引擎 MSE 提供全面的微服务治理方案

在直播过程中,商家和观众进行互动下单,直播前端和后台业务系统进行频繁的交互。直播的后台业务系统采用微服务+容器的架构,业务系统根据不同的模块(如店铺、商品、订单)已经进行了微服务拆分。同时为了满足业务需要,业务系统需要具备流量控制的能力,即对某些微服务进行了多版本的部署,并将特定的用户请求引流到某个特定版本进行处理。

 

众所周知,系统采用微服务化部署后,调用链路变得复杂。此外在容器环境下,POD IP 的不固定性等因素都为实现流量控制带来一定的难度。我们可以采用阿里云微服务引擎(MSE)提供的微服务治理方案。

 

微服务引擎 MSE 为微服务应用提供全面的微服务治理方案,包括服务鉴权、无损下线、离群实例摘除、服务降级、金丝雀发布、标签路由等功能。其中标签路由功能可以简单完美地实现在 K8s 环境下流量控制的能力。微服务发布过程中,只需编辑 YAML 文件添加自定义标签,同时在 MSE 控制台将请求参数(如 http header 等)和此前创建的标签进行绑定即可。



通过此方案,不仅可以在生产环境中无侵入性地解决了流量控制的问题,在开发测试环境中,也可将标签路由功能应用在分支测试等场景。

ARMS 提供完整立体化全链路监控方案

电商直播系统包括 H5 页面和小程序前端层、微服务应用层、中间件层(MQ、Redis 等)、数据库层以及基础资源层等,系统中任何一个环节出问题都可能导致一条业务请求出现异常。结合业务需求,运维效率、资源成本等因素,部署在云上的应用可以通过阿里云应用实时监控服务(ARMS) 为直播业务提供一套完整的立体化的全链路监控方案。

 

ARMS 领域全景图

 

在直播场景下,ARMS 提供的功能解决了诸如以下几个实际问题:

 

1、在直播过程中,如果用户在前端进行下单等操作发生错误,利用 ARMS 提供的前后端链追踪功能,可将前端与后端串联起来,实现一站式的问题排查。

2、系统中出现慢调用后,需要对整个链路中的瓶颈进行定位,而这个瓶颈可能出现在网络延时、微服务应用内部,或者应用所依赖的缓存和数据库等组件,开发运维人员可以借助 ARMS 提供的白屏化链路监控、问题诊断等能力来快速定位。

3、在 ARMS 控制台为核心业务及资源配置了完善的监控报警能力,通过短信、钉钉、Webhook 等方式推送给工程师进行第一时间排查,及时发现问题减少业务损失。

阿里云函数计算解决自动化及效率等问题

在直播平台发起的直播结束后,通常会有一些回放视频需要进行一些处理,比如对视频进行转码,或其他处理后再进行二次分发。通常为了实现这一个功能,我们需要自建转码服务器,但由于直播业务天然的潮汐属性,大部分时间这些转码服务器处于闲置阶段,无法实现计算资源的最大利用和成本最优化。

 

阿里云函数计算 FC 事件触发机制完美第解决了自动化及资源利用率等问题。开发人员可以将转码逻辑部署到函数计算,配置 OSS 事件触发器,当有新的直播回放视频上传到 OSS 后,可自动触发函数计算进行转码及分发。

 

 

此方案具备的优势是:

  • 快速上线:用户基于 FFmpeg 自建的转码服务,里面很多命令参数都是线上实践很好的参数,函数计算支持用户命令无缝迁移, FFmpeg 的版本也可以自定义。

  • 弹性高可用:计算力不再是瓶颈,迅速调动大量计算资源进行加速、并行转码。

  • 降低成本:视频转码是 CPU 密集型,基于函数计算按需付费,能大大降低转码成本。

总结

结合上面所讨论的内容,我们再来看下采用阿里云云原生解决方案后,一个完整的电商直播平台的部署架构如下:

 

经过实际场景验证及用户的综合评估,电商直播平台借助全面的云原生容器化能力和中间件产品能力,大幅提升开发部署运维效率达 50%~100%,极大地提升了用户体验,为业务持续发展打下了坚实的基础。

 

更多云原生产品细节请关注:

容器服务 ACK

https://help.aliyun.com/product/85222.html

微服务引擎 MSE

https://help.aliyun.com/product/123350.html

应用实时监控服务 ARMS

https://help.aliyun.com/product/34364.html

Serverless 函数计算

https://help.aliyun.com/product/50980.html


本文转载自:阿里巴巴中间件(ID:Aliware_2018)

原文链接:电商直播平台如何借助容器与中间件实现研发效率提升100%?

2021-03-06 07:001414

评论

发布
暂无评论
发现更多内容

python使用命令行传入参数

卤蛋翔

6月日更

百度搜索与推荐引擎的云原生改造

百度开发者中心

云原生

阿里直通车?阿里Java面试“内幕”:十万字内部面试题总结

Java架构追梦

Java 阿里巴巴 架构 面试

阿里P8熬了一个月肝出这份32W字Java面试手册,在Github标星68K+

Java 程序员 面试

2021金三银四面试经历:腾讯三面落马+拒网易、CVTE后,字节四面成功拿下offer

Java 程序员 架构 面试

大数据好书推荐

五分钟学大数据

分享:在阿里做Java开发的这五年,收获与感悟

Java架构师迁哥

系统性思维 系统之美1

张老蔫

28天写作

Flink 在有赞的实践和应用

Apache Flink

flink

拍乐云推出业内首个「线上美术教学音视频方案」,打造极致互动体验

拍乐云Pano

你想进大厂吗?阿里Java面试“内幕”分享

Java架构师迁哥

defi流动性挖矿系统开发(案例版)丨defi流动性挖矿源码现成版

系统开发咨询1357O98O718

持续测试 | 测试流程提效:在 CODING 中实践迭代内的持续测试

CODING DevOps

DevOps 测试计划 持续测试 迭代式测试

☕️【Java 技术之旅】知识盲点关于jar包的点点滴滴

洛神灬殇

Java jar Jar包扫描 6月日更

《原则》(三)

Changing Lin

defi流动性挖矿系统开发案例分析,defi流动性挖矿现成源码

系统开发咨询1357O98O718

联邦计算在百度观星盘的实践

百度Geek说

23种设计模式,正确的解读方式原来是这样

Java架构师迁哥

iOS上的CSS样式协议 VKCssProtocol

iOSer

CSS ios 移动开发 ios开发 VKCssProtocol

OGA 联盟正式成立!禅道作为理事单位助力共建开源生态!

禅道项目管理

项目管理 DevOps gitlab

defi流动性系统开发案例详情丨defi流动性源码功能

系统开发咨询1357O98O718

拍乐云受邀QCon大会 | 详解音视频技术架构实践,首发美术教学音视频方案

拍乐云Pano

反洗钱监管再度升级,看这家金融集团如何应对

索信达控股

大数据 银行 金融监管 风险管理 数据管理

百度开发者中心全新升级 | 文末六一送福利

百度开发者中心

百度 福利

龙蜥专场精彩回放来了!10位技术大咖、242位开发者相聚

阿里云基础软件团队

【干货篇】bilibili:基于 Flink 的机器学习工作流平台在 b 站的应用

Apache Flink

flink

官宣!禅道与极狐(GitLab)达成深度合作,携手推进开源开放DevOps生态发展

禅道项目管理

项目管理 DevOps gitlab

从零开始学习3D可视化之控制对象(2)

ThingJS数字孪生引擎

可视化 数据化 3D 3D可视化

新大陆!阿里P9整理出:Java架构师“成长笔记”共计23版块

Java架构师迁哥

牛客网亲测有效!牛客下载量近百万的Java程序员复盘秘籍真滴强

小Q

Java 学习 编程 架构 面试

蓝海战略 - 如何设计与众不同的价值曲线

石云升

战略思考 职场经验 6月日更

电商直播平台如何借助容器与中间件实现研发效率提升100%?_文化 & 方法_阿里巴巴中间件_InfoQ精选文章