写点什么

腾讯基于 Proxy 的代码执行监听上报实践

  • 2020-03-05
  • 本文字数:3341 字

    阅读完需:约 11 分钟

腾讯基于 Proxy 的代码执行监听上报实践

随着移动设备的普及,兼容性和性能测试正在逐渐成为前端测试面临的两大挑战,再加上前端代码主要运行在客户设备上的特性,各种安全性挑战又层出不穷,我们该如何应对和解决?腾讯高级 Web 前端工程师樊东东在 GMTC 全球大前端技术大会(深圳站)2019 分享了 《基于 Proxy 的代码执行监听上报》,介绍了前端 SDK 基于 ES6 Proxy 的深度日志收集以及腾讯小程序前端测试案例。


本文根据演讲内容整理而成。


后端有全链路监控,能分析出模块之间的调用情况,前端一般日志打点、收集、上报,都是面条式的日志。在前端 SDK 的执行过程中能否收集更多更全面的信息?如 API 及回调函数的附属关系,API 和 API 间的上下文关系等。

一、需求背景

1. 打日志繁琐

日志是程序监控问题排查的重要手段。


如下是一段 SDK 实现和使用的例子:



作为 SDK 提供方,想要监控 SDK 运行情况,需要在各个 API 实现中打日志。


SDK 使用方使用 SDK 的时候需要在使用前后打日志。


能否统一处理 SDK 调用日志,让代码更少,日志更规范?

2. 线性日志可读性差

如下是上一段代码的调用日志。



这种日志线性无关联,只能体现时序。在排查问题时候分析这种面条式日志十分痛苦。


对于 API 的回调中有其他 API 调用这种 API 间依赖的关系,在日志中很难体现。


能否将日志进行可视化展示,且能体现日志间的上下文。



这种日志能帮助我们在不知道源码的情况下回溯 SDK 的调用过程,帮助重现和分析问题。

3. 属性监听

一般情况下,我们只对方法调用打日志,但在 QQ 小程序中一些组件(如 Video,对应的客户端组件)属性变化对应着客户端接口的调用。


这种对象属性的变化也想要追踪。

4. 目标

总结下,想在不改变 SDK 代码的情况下做到:


(1)统一上报入口;

(2)属性 get、set 上报;

(3)日志能体现上下文关系。

二、解决方案

defineProperty 和 Proxy 都能修改对象默认行为,进而进行监听。

1.defineProperty

defineProperty 是修改对象属性,如下是监听对象方法调用的例子:



defineProperty 有如下缺点:


(1)只能监听已有属性,无法追踪新增属性;

(2)需要深层遍历对象属性监听;

(3)原型的属性需要单独监听。


实现起来复杂,开发者对 SDK 的扩展无法监听到。

2.Proxy

(1)定义


Proxy 是 ES6 新增语法。在目标对象前架设一层拦截,可以对外界的所有访问进行过滤和改写。


(2) 功效


这是一段 Proxy 的例子:



利用 Proxy 可以:


  • 监听属性 get、set;

  • 结合函数包装监听方法调用。


这样能在不修改源码的情况下做到:


  • 统一监听入口;

  • SDK 使用者也能使用。

3. 问题

Proxy 是在原对象的基础上创建新的 Proxy 对象。需要考虑下面两个问题:


  • 能否替代原对象;

  • Proxy 性能。


(1) 原型比较



这段代码中有一个 Test 类,创建一个 Test 对象,对象上再创建 Proxy 对象。比较他们的原型和类型。


可以看到 Proxy 对象同原对象原型一致、类型一致。


(2) 属性比较



这段代码 Test 类中有属性 name,创建的对象新增属性 age 和方法 api2,对象上再创建 Proxy 对象。比较他们的属性。


可以看到 Proxy 对象和原对象属性相同


(3)代理 DOM 对象



在 Chrome 浏览器中,在 DOM 对象上创建 Proxy 对象,修改属性、调用方法会报错。


对于这种问题,可以用一个空对象做中转,如下所示:



  • 在空对象上创建 Proxy 对象;

  • 属性 get 取原 DOM 对象属性;

  • 属性 set 设置原 DOM 对象属性;

  • Proxy 对象的原型设为原 DOM 对象原型。


避免直接对 DOM 对象进行代理造成的使用报错的问题。


(4)总结


Proxy 对象和原对象有同样的原型、同样的属性,可以认为在使用上等同于原对象。

4. 性能

(1)运行性能


如下是原对象、Proxy 对象和 defineProperty 修改对象的属性 get、set 和方法调用的耗时对比。



从结果中看到,Proxy 对象的性能最低。算下来一次耗时不到 1 微秒。


不是高频调用,性能影响可以忽略。


起先大家也认为 Promise 性能低,但因为好用,Promise 还是流行起来了。


(2)上报性能


在实践过程中,对性能影响最大的是上报。比如小游戏中绘图 API 的高频调用,极大影响上报性能。


需要控制上报频率,方案如下:


  • 缓存一定数目再上报;

  • 黑名单内 API 不做上报;

  • 同一个 API 限制一定时间内上报次数;

  • 同一属性 get、set,同值只报一次。

三、API 上下文

如下是一段 API 回调中调其他 API 的例子:



想要在日志中体现代码上下文关系,需要关联如下关系:


  • API 调用;

  • API 回调函数;

  • 回调参数(API 结果)使用;

  • 回调中其他 API 调用。


然后通过根 API 将整个上下文关联起来。


下面我们来看下如何一步步对他们进行关联。

1. 关联 API

和其回调函数 API 和回调函数都是函数,可以在 Proxy 的属性访问时对他们进行函数包装。


对 API 进行包装:



API 的包装函数运行时可获得回调函数,对回调函数进行包装,将 API 对应的 ID 传递过去。



回调函数的包装函数运行时就能知道其属于哪个 API。


(1)踩到的坑


包装函数碰到下面两个问题:


  • 构造函数;

  • 事件监听。


构造函数


对象的方法可能会被当做构造函数使用。要能在方法的包装函数运行时知道其是被当做方法使用还是被当做构造函数使用。


如下图:



可以在包装函数中判断 this 的原型是否等同于包装函数的原型。


事件监听


取消事件监听的回调函数必须和事件监听的回调函数是同一个,才能取消成功。对函数进行包装会返回新的函数,导致取消事件监听无效。


可以对函数的包装函数进行缓存。避免事件监听与取消监听函数不一致的情况。


2. 关联回调函数和参数

回调函数的包装函数运行时生成对应 id,其参数如果是对象,则继续进行代理。参数的 Proxy 对象在使用时就能知道其从属于哪个回调函数。


3. 关联回调函数和其中 API

回调函数和 API 都是函数,关联回调函数和其中 API 本质上是要在函数运行时知道其外层函数。


(1)calleecaller 如下图所示:



  • 利用 callee 可以知道当前执行函数;

  • 利用 caller 可以知道当前执行函数外层函数;

  • 这样就能关联回调函数和其中的 API。


但在严格语法中 callee、caller 被禁止。


(2)栈


可以利用入栈出栈来模拟函数执行开始、执行完毕。



  • 回调函数的包装函数运行时生成 ID;

  • 回调函数 ID 执行前入栈,执行后出栈;

  • 内层函数运行时可通过栈尾 ID 知道外层函数。


如此可关联回调函数和其中的其他 API。


(3)setTimeout


setTimeout 将回调和其中其他 API 断开来了。setTimeout 中其他 API 可以认为是新开一个 trace。


如果想把 API 回调函数、回调函数中 setTimeout、setTimeout 回调函数、setTimeout 回调函数中其他 API 关联起来,可以把 setTimeout 当做 API 来处理。

四、可视化展示

zipkin 是一个开源的分布式链路追踪系统。可以用来做日志关联和可视化展示。


如图是 zipkin 所需要的日志数据结构:



只要有 traceId、ID 和 parentId 三个字段就能做日志关联并展示。


如图是前后端调用链路示意图:



后端的全链路是一个模块调另一个模块,前面的请求发送是后面请求接收的 parentId


前端的上下文是一个 API 的回调中有其他 API。API 调用可以看做回调的 parentId,回调可以看做其中其他 API 的 parentId。


根 API 的调用可以看做 traceId


这样就与 zipkin 所需要的数据结构对应起来了。


如图是 SDK 调用代码和对应的可视化界面



可以看到 API、回调和可视化界面中的日志一一对应。


这样在没有源码的情况下能通过上下文日志回溯调用过程,帮助复现和分析问题。

五、其他场景

Proxy 监听 SDK 的方法调用,能收集方法输入、输出。可用于单元测试,比对代码修改前后的日志,验证代码修改是否影响其他 API。


收集外网用户真实使用信息,补充测试案例。


统计 API 的调用次数。

六、总结

  1. Proxy 能追踪属性变化和方法调用;

  2. 日志能集中上报,SDK 使用者也能使用;

  3. 通过函数包装关联 API 和回调函数;

  4. 利用栈能关联回调函数和回调函数中其他 API;

  5. 日志从线性变为有关联关系的上下文;

  6. 借助全链路系统能可视化展示上下文,回溯调用过程。


作者介绍


樊东东,腾讯高级 Web 前端工程师,2014 年进入腾讯,先后经历过移动办公、泛娱乐产品、QQ 小程序的 Web 开发工作,有大量运营平台、H5、Node 等相关的开发经验;现负责 QQ 小程序开发者工具、小程序相关工具链、QQ 相关基础运营平台等开发工作。他善于在平凡的代码中找到不一样的玩法。


活动推荐


技术永不止步,精彩永不落幕,GMTC 全球大前端技术大会(北京站)2020 将于 6 月 05-08 日再次与大家见面,聚焦前沿技术及实践经验,强势输出更多大前端 & 移动开发领域的技术趋势与实践案例!


2020-03-05 17:422729

评论

发布
暂无评论
发现更多内容

作为Java程序员连Redis都不会?阿里架构师带你深入“解剖”Redis

Java浪潮

redis JAVA开发 java程序员

又是一年开源之夏,八大课题项目奖金等你来拿!

白鲸开源

Apache 大数据 开源 DolphinScheduler workflow

2年,0事故,效能提升10倍的云原生安全最佳实践

青藤云安全

金融行业 金融服务安全 青藤

进阶中的程序员:深入解析 Spring boot(含PDF文档分享)

Java浪潮

spring 编程 JAVA开发 springboot

云原生基础治理平台SchedulX V1.2.0正式发布,助力企业降本增效

星汉未来

运维 云原生 星汉未来

Hacker 资讯 | 5 月上旬区块链黑客松活动汇总

One Block Community

区块链

服务器CPU和普通CPU有什么区别?常用的服务器有六大区别

Finovy Cloud

深度学习 gpu GPU算力

2022年3月视频行业用户洞察:用户增长,长短视频探索共赢新模式

易观分析

短视频 视频

ATT&CK V11版本发布,新增结构化检测内容

青藤云安全

如何制作优秀的产品说明手册?

小炮

产品说明手册

深入浅出Redis丨阿里架构师的Redis实战心得,让你毫不费力的学习

Java浪潮

redis java程序员 java架构

GAIA数据集V1.10更新

云智慧AIOps社区

运维 AIOPS 数据集

【OpenCV】配置OpenCV教程,OpenCV入门

恒山其若陋兮

5月月更

借鉴这份Java进阶架构师之路的核心知识,我成功收获蚂蚁金服、阿里、美团等Offer

Java浪潮

Java 架构 java架构

华为手机用户找歌不用愁,HarmonyOS 2版本更新上线“听歌识曲”

科技汇

重复造轮子?TCP天然支持可靠传输为什么还需要基于UDP实现可靠传输?

Java全栈架构师

程序员 字节跳动 面试 TCP 网络

龙蜥云原生机密计算 SIG 成立,7 大开源项目重磅亮相!

OpenAnolis小助手

云原生 开源项目 龙蜥社区 sig

阿里Java面试必问:JVM与性能优化+Redis+设计模式+分布式

Java浪潮

编程 架构

什么是流动性池?(上)|流动性池的出现及名词解析

区块链前沿News

流动性 Hoo

一文详述DMS资源池队列阻塞告警及原理

华为云开发者联盟

数据库 资源池 DMS 队列阻塞告警 资源池队列阻塞

不用PyScript,网页端运行的Python编辑器

OpenHacker

Python 编辑器 代码编辑器

DPDK背景和优势,赶紧学起来运用吧

C++后台开发

虚拟化 Linux服务器开发 DPDK C++后台开发 高性能网络

什么是IP地址盗用?又要如何预防?

郑州埃文科技

IP地址 IP地址盗用 安全防御

毕业设计项目

凌波微步

「架构实战营」

不愧是阿里高工耗时182天肝出来1015页分布式全栈手册,从基础到高级,把分布式核心原理讲得明明白白

Java全栈架构师

程序员 架构 面试 分布式 程序员人生

手机网站一键秒变App?详细教程来了

YonBuilder低代码开发平台

APP开发 APICloud 手机网站

SpringCloud 中 Gateway 是如何关联对应的 GatewayFilterFactory 和 参数解析的

gin

Gateway SpringCould

重入锁与读写锁

急需上岸的小谢

5月月更

贝壳上云&云上架构

赵亮-贝壳云原生

云原生 监控 框架 链路 扩缩容

10个产品主导的增长原则|Bessemer

观测云

腾讯基于 Proxy 的代码执行监听上报实践_GMTC_樊东东_InfoQ精选文章