发布在即!企业 AIGC 应用程度测评,3 步定制专属评估报告。抢首批测评权益>>> 了解详情
写点什么

阿里妈妈技术质量开源面向广告搜索推荐系统的线上测试和性能测试平台

  • 2020-04-21
  • 本文字数:2240 字

    阅读完需:约 7 分钟

阿里妈妈技术质量开源面向广告搜索推荐系统的线上测试和性能测试平台

2020 年 4 月 7 日,阿里妈妈技术质量团队开源了线上测试平台 MagicOTP 和性能测试平台 ACP。两个平台经过阿里巴巴广告业务的长期锤炼,在大规模广告搜索、推荐系统的线上测试和性能测试上深耕多年,内置了面向广告搜索、推荐领域的工业级线上测试和性能测试解决方案。

一、ACP(alimama-common-performance-platform)

概述

ACP(alimama-common-performance-platform)平台是阿里妈妈的全链路智能性能测试平台。区别于业界一些开源的工具和平台,ACP 平台将有监督建模、无监督建模、混沌工程等智能化技术引入到性能测试领域;并将其打造为高性能通用的基础组件。平台提供了压测 query 智能抽取、压测流程智能调控、系统指标智能监控三大智能化功能;在阿里妈妈实现了无人值守的智能化性能测试。


(github 地址:https://github.com/alibaba/alimama-common-performance-platform-acp )

系统核心能力

  1. C++高性能压测工具


ACP 提供了 SYNC 同步压测和 ASYNC 异步压测两种模式;同步压测的工作模式是阻塞式发送,异步压测采用非阻塞并发模式,目前开源版本支持同步压测模式。


Chain-Line 链式的线程管理系统,智能调整内部线程和并发数,最终快速达到指定的 qps。


基于 Linux 内核的消息队列的监听服务,在不需要重启进程的情况下做到实时调整 qps。


组件:


  • 智能压测调控框架

  • Chain-Line 链式的线程管理组件

  • Adaptive Auto Control 实时流量调控组件

  • Kernel-queue 消息队列读写组件


压测 Client 工作模式图:



  1. 大规模分布式调度服务


性能测试的一个难点是如何高效利用测试资源,在压测机器有限,压测机器规格不一致,压测任务消耗硬件资源不一的情况下;如何高效调度成千上万个 agent 是我们要解决的问题。ACP 平台利用 zookeeper,使用 DFS 深度优先的搜索算法,实现了资源分配粒度达到内核级别,并开源了其产品化的能力。


  1. 基于历史样本的有监督学习建模及预估能力


传统性能测试更多需要人来手工操作,测试效率普遍不高,我们提供了基于随机森林( random Forest)、线性模型、非线性等多种算法建模组件;用建模、预估技术代替人力手动调压等操作,用户可以根据业务场景定制自己的建模方案,此外,我们也提供了多种样本处理组件。


  1. 特征样本归一化,对于历史监控数据,我们将样本(sample)进行归一化处理(normalization),将不同量纲、不同单位的样本进行加权处理,保证后续建模的精度。

  2. 特征样本去噪,历史监控数据有很多噪声,如作弊流量,异常流量,而这些噪声会直接影响模型的预估表现,减少无效样本对模型的影响。

  3. 特征样本转换,feature transformer 是将多维特征转为单维(Single-Demension)特征的过程,如服务器带宽和 qps 有着强关联,我们将二者做除法得出新特征,即每个请求占用的带宽(bytes per query),而这种特征能够直观反映系统表现。



  1. 基于实时样本的无监督学习建模及预估能力


我们提供了基于 arima 模型的无监督学习建模预估能力(差分整合移动平均自回归模型,又称整合移动平均自回归模型)。和上述有监督建模预估相比,无监督建模预估准入门槛低,相比于之前的用历史监控数据建模的方案,arima 不需要人为的收集历史数据和打标。



  1. 性能测试用例智能生成


Netflix 提出了 Chaos Engineering,我们基于混沌工程和 fuzz 思想进一步探索了 query 智能组合构造方案,分钟内智能构造千万级数据样本;解决了压测数据样本单一,异常场景构造成本高,覆盖率低的问题,从而可以充分验证系统稳定性,鲁棒性。



后续开源计划


  1. 历史样本有监督学习建模及预估能力

  2. 实时样本无监督学习建模及预估能力

  3. 基于 fuzz 的性能测试用例智能生成方案


欢迎通过邮件组 acp-opensource@list.alibaba-inc.com 和 github issue 联系和反馈

二、MagicOTP — 线上测试平台

概述

广告搜索推荐业务上,线下功能测试的覆盖和线上实际场景总是有一定的 gap,深层次的原因是因为业务和算法模型强相关,线下不可能覆盖所有业务场景。鉴于此我们通过使用线上的数据,实时 trace 和智能化技术打造了线上智能测试平台 MagicOTP,通过线上测试很好弥补了线下功能测试覆盖和实际业务场景之间的 gap,实现了全场景的测试覆盖保障,同时在阿里妈妈落地了智能化的无人值守的发布闭环。


(github 地址:https://github.com/alibaba/online-test-platform

系统核心能力

  1. 多种线上数据采集技术(时序、分布、规则采样、基因变异算法等),节省人工构造测试数据的成本,提高测试效率。

  2. 健壮的规则校验引擎,测试数据通过规则进行多维度校验,相比传统冒烟的单点固定验证,具有更高的场景覆盖度。



  1. 精准的规则智能推荐技术和智能化验证技术,基于大数据分析和字段关联关系(Association Rules)建模,利用推荐算法和异常数据检测(K-sigma 等)实现了智能化的规则推荐和校验。



  1. 高效的多业务接入能力,在平台配置完任务,任务执行过程中自动推荐出基础校验规则,减少开发成本。当业务变更时维护只需简单修改规则即可。


开源 Roadmap


目前一期提供了基础的线上请求回放能力和规则引擎服务,以及基于此的完整的线上测试方案,后续我们会开源规则智能学习推荐功能和无人值守的发布验证方案。


欢迎通过邮件组 magicotp-opensource@list.alibaba-inc.com 和 github issue 联系和反馈


ACP:


github 地址:https://github.com/alibaba/alimama-common-performance-platform-acp


MagicOTP:


github 地址:https://github.com/alibaba/online-test-platform


研发成员:朱藻、橦录、翰龙、凤暄、凝珂


本文转载自公众号阿里巴巴技术质量(ID:AlibabaTechQA)。


原文链接


https://mp.weixin.qq.com/s/bxQqfAfsKCGQ_5rp18UWGA


2020-04-21 14:052633

评论

发布
暂无评论
发现更多内容

流处理基本概念(二)

数据与智能

大数据 flink 窗口函数

白手起家之搜索利器Elastic search

卢卡多多

ES 8月日更

我找遍了全网,总结出足足60W字“阿里大厂面试手册”

Java 程序员 IT 计算机 知识分享

喜获蚂蚁金服、拼多多、字节跳动offer!纠结之后入职拼多多。

Java 编程 程序员 面试 计算机

Docker可视化管理工具Portainer

xcbeyond

Docker Portainer 8月日更

Tensorflow随笔(二)

毛显新

人工智能 深度学习 tensorflow keras

数字化加速碳基文明向硅基文明的演进

Taylor

数字化 数字孪生 碳基文明 硅基文明

ipfs挖矿怎么选择公司?ipfs挖矿收益怎么计算?

IPFS挖矿收益怎么计算 ipfs挖矿怎么选择公司

【架构实战营】毕业总结

swordman

架构实战营

架构训练营毕业总结

冬天的树

看完必让你直呼好家伙!阿里巴巴 6 月新作:“Java架构手册”

Java 编程 程序员 IT 计算机

期末设计

Geek_9cf7b5

MongoDB 客户端怎么做负载均衡

海明菌

mongodb 负载均衡 客户端

SLO(服务等级目标)与SLA(服务等级协议)

一个大红包

8月日更

云原生之可观测性【日志篇】 Logstash组件初探

路上的小崔哥

云原生 Logstash 日志 可观测性

2021年最新最全:30W字!千道Java 后端面试大全(值得收藏)

Java 编程 程序员 架构 面试

三十多岁跳槽无路,晋升无门,濒临绝望之际受贵人指点,成功上岸阿里(Java 岗)

Java 编程 程序员 架构 计算机

Kafka 和 Kinesis 之间的对比和选择

HoneyMoose

模块10作业

杨彬

#架构实战营

一周拿下百度Offer!211本+985硕+计算机专业~

Java 编程 面试 IT 计算机

Tensorflow随笔(一)

毛显新

人工智能 深度学习 tensorflow keras

Java进程cpu100%问题排查

陈皮的JavaLib

Java Linux 面试 8月日更

13年培训出身!八年后成功坐上了阿里P7架构师的位置

Java 编程 程序员 架构 计算机

总结

杨彬

#架构实战营

分享三个可改进的体验

石云升

用户体验 体验设计 8月日更

【前端 · 面试 】HTTP 总结(七)—— HTTP 缓存概述

编程三昧

面试 HTTP 8月日更 HTTP缓存

Tensorflow API(一)

毛显新

人工智能 深度学习 tensorflow keras

前端之数据结构(四)

Augus

数据结构 8月日更

年薪50W阿里P7架构师就会点这?并发丨JVM丨多线程丨Netty丨MySQL!

编程 架构 面试 IT 计算机

我能行我能行!字节三面 + 微信四面 +PayPal 四面, 大厂面经分享

Java 编程 程序员 架构 IT

架构师实战营模块四作业

袁小芬

阿里妈妈技术质量开源面向广告搜索推荐系统的线上测试和性能测试平台_开源_朱藻_InfoQ精选文章