【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

如何为实时音视频设计小且优的深度学习模型?(下)

  • 2019-11-30
  • 本文字数:2463 字

    阅读完需:约 8 分钟

如何为实时音视频设计小且优的深度学习模型?(下)

如何设计小且优的深度学习模型?

众所周知深度学习最好的结果是采用比较大的模型,在比较大的机器平台,比如说服务器,有成千上万的 GPU 作并行处理来训练,并且需要有非常大量的训练数据集。


但是现在针对移动设备的应用很多,我们做移动社交、做直播、通讯,面临的挑战是要设计一个小的模型,最好能满足下面三个条件:


  • 这个小模型能够在移动设备上实时地跑,并且不会消耗太多功耗,不会引起发热等等问题。

  • 另外它的结果还要足够好,不能因为模型做小了而没有效果,这个没有意义。

  • 训练要能够基于比较合理数量的数据集就能够取得好的效果,要上百万个甚至上千万个数据往往不够现实,因为数据收集的成本太高。


接下来我们作复杂性分析,我们的目标是缩小模型。来看一些典型的模型,经典的一些作图像分析和识别的深度神经网络,像 VGG 模型,是很大的模型,它的参数个数,也就是权重的个数,是衡量这个模型复杂性的一个重要指标。


VGG16 模型有一亿多个参数。为了在移动平台能够运行,业界做了大量的工作,这些工作包括把这个模型做剪枝、压缩和重新训练模型等,也有通过更复杂的技术,比如通过强化学习来达成一个更小的模型。这些方法都有一些潜在的问题,比如最终出来的结构不够简单,计算量仍然不够少,或者不易于并行实现等。


谷歌在这方面也做了很好的工作,最新的结果是 MobileNet v2 的 340 万个参数,不到 VGG16 参数个数的 3%,缩小了很多,将近两个数量级,非常小。但是对我们来说,340 万个参数的模型还是很大,尤其在移动设备上以软件实现仍不是很理想,当然我们的任务有点不一样,我们是做图像超分,而上述模型是做做物体识别的。

基于 ReLU 的 CNN

我们来看一下基于 ReLU 的 CNN,实际上是分段线性函数,这个很容易理解,尤其是当 stride 为 1 的时候,分段线性的映射还是保持的。


为了更好地理解下面的内容,我再介绍一个概念,就是流型。举个例子来说流型比较容易理解,比如关于人脸的图像,虽然可以是在 1000×1000 个大的尺寸上,有一百万个像素点,但真正表征人脸不需要一百万个点,一两百个参数就可以,实际上在比较低维的一个空间里即可以表征出来,这个过程就是从它的背景空间映射到它的参数空间,或者称为隐空间的过程,这实际上是一个编码的过程,是一个降维处理。


反过来从这个低维空间到高维空间是一个解码的过程,是一个生成器。一般来说编码是把数据压缩到更低维的参数空间,叫隐空间。存在一个映射,从高维流型到低维的空间之间,正映射和逆映射都是连续的,这就是同胚映射。我们想隐空间这个低维的参数空间里做些操作。


刚才说过深度学习实际上是一个分段线性的映射,它是对流型的一个分段线性的逼近,比如这个模型比较简单的时候,它是以两条线来逼近,模型复杂的时候以四条线來逼近,这时逼近的程度更高。实际上一个更复杂的深度学习网络能产生的效果更好,逼近的精度更高,当然它的复杂度也更高。


另外,不同的逼近方法达到的效果也不一样,换一个方式可能逼近的更好,实际上不同的权重对应不同的映射,对应不同的逼近效果,我们训练的过程就是在找一个最优化的逼近,至少是找一个局部最优化的逼近过程,使得它达到的效果某种意义上是最优的。精度是由逼近的质量来衡量的。


我把我们的结果报告一下,最后做到了只有万级的参数个数,比谷歌的用于移动设备的 MobileNet v2 模型还小了两个多数量级。声网模型不到它的 1%,进一步小了非常多。通常模型变小之后会有一个问题,GAN 本身隐含的问题就变得更突出,模式坍塌就是其中一个问题。

模式坍塌

模式坍塌是什么问题?生成器很难学习多模态的分布。举一个在圆环上的八个高斯分布的例子。生成器想学习这个分布,但是在一个简单模型的训练的过程及最后结果都只能收敛到其中一个高斯分布。用在实际应用的例子上,比如生成数字,我们期望它像第一行图像中这样能生成 0-9 的各个数字,但是很容易它就像第二行这样只能生成其中一个数字,比如总生成 1 或者某个含混难辩的数字,因为 1 容易在判别器那里蒙混过关,这虽然做对了,但是它生成不了别的数字,用处不大。


如何解决这个问题或者缓解这个问题呢?我们做了一系列的工作,简单来说,我们加了一些约束,加了对局域的约束,加了对切空间的约束,再加了对隐空间的优化,接下来不能一一讲述,就简单讲解一下对隐空间的优化。

隐空间的优化

刚才我提到过 DNN 实际上是把一个流型往隐空间或者参数空间做映射。一个图像通常被编码到一个低维的空间,就是隐空间。这里给大家做一个直观的解释,我们直接在这个编码空间,即隐空间里来做恢复,先在隐空间里均匀的去采样一些点,然后再通过这些点输入到生成器,生成器重构出来的图像点,把它们重叠到原来的图像上,有些恢复出来的点很密,但是有些地方比如头部脸部就很稀疏,这就意味着头部的恢复很差。生成器坍塌到一个局部最优,这个重构是很难或者不太容易得到很好的结果。当然我们可以更密集的取些采样点,最终头部也被覆盖到,但是代价会很大。


我们可以把这个隐空间先做优化,再在上面做均匀抽样,再把它输入进生成器,生成器出来,抽样点还是这么多,重构图像出来的重构点也是均匀的,也就是从这个点云里出来的东西也是均匀的。


打个比方,我们拿一张平的纸,使用各种不规则的方式任意折叠起来很多遍,你被要求在折叠起来的一团纸上抽取一定的采样点,然后把纸展开恢复平整后要求这些采样点是均匀的。这个很难,一般做不到,除非用暴力取足够多的点出来。但那样复杂性很高,与我们的目标相悖。我们想同时控制复杂性又控制效果。我们把类似的隐空间优化应用到了我们的模型训练里。因为我们最终模型的参数非常小,所以功耗在 iPhone7 上很少,另外手机也不会发热。效果基本上我们能做到,比如说一个 360P 的视频,出来的效果能够达到在 720P 的效果,能得到一个高清的效果。


我们未来还想从数学更多的理解一些深度网络,对某个点、某个问题上能够用数学的方式来描述,来进一步提高图像清晰度。这是我们未来要做的工作,谢谢大家。


本文转载自公众号声网 Agora(ID:shengwang-agora)。


原文链接:


https://mp.weixin.qq.com/s/G7uRFUoBMfFKMwf2vH-eJA


2019-11-30 22:11535

评论

发布
暂无评论
发现更多内容

极光笔记丨关于数据大屏一比一还原设计稿这件事

极光JIGUANG

大前端 数据可视化

手把手教你学Dapr - 1. .Net开发者的大时代

MASA技术团队

C# .net 微软 后端 dapr

LevelDB Java&Go实践

FunTester

Java 自学 Go 语言 leveldb FunTester

月薪3万的大厂测试工程师裸辞3个月,送外卖谋生背后的真实感悟

六十七点五

程序员 程序人生 软件测试 软件自动化测试 测试工程师

就是简单,全球100多万读者,一起跑通前端HTML5与CSS3知识!

图灵教育

大前端 HTML5, CSS3

我是一个程序员,总想引导亲朋好友走上编程的伟大航路......

图灵教育

程序员 App Inventor

openGauss支持国密SM3和SM4算法

openGauss

#数据库

Web 用户体验设计提升实践

Shopee技术团队

大前端 web开发 用户体验 交互设计 可访问性

一招教你通过焱融 SaaS 数据服务平台+ELK 让日志帮你做决策

焱融科技

云计算 分布式 SaaS 公有云 文件存储

Nebula Graph 源码解读系列 | Vol.04 基于 RBO 的 Optimizer 实现

NebulaGraph

图数据库 源码解读

不要再重复造轮子了,Hutool这款开源工具类库贼好使

沉默王二

Java

手把手教你学Dapr - 2. 必须知道的概念

MASA技术团队

C# .net 微软 后端 dapr

速来!开源中国首届飞算SoFlu组件开发悬赏赛来袭

SoFlu软件机器人

Java

CSS布局之display:flex(二)

Augus

CSS 11月日更

第一本 Compose 图书上市,联想大咖教你学会 Android 全新 UI 编程

图灵教育

Compose AndroidUI

拥抱智能,AI 视频编码技术的新探索

阿里云视频云

阿里云 视频编码 机器视觉 视频编解码 视频云

开源数据库风起云涌,openGauss 恰逢其时

openGauss

#数据库

从 Linux源码 看 Socket(TCP)的accept

赖猫

c++ Linux 后端 服务器 epoll

彻底搞懂Spring状态机原理,实现订单与物流解耦

Tom弹架构

短视频个性化Push工程精进之路

百度Geek说

后端 软件架构

企业如何选择合适的低代码平台?这6点不得不考虑!

J2PaaS低代码平台

低代码 低代码开发 低代码平台 企业数字化

项目管理常见问题系列(1)—资源不足

一叶而不知秋

项目管理

Nginx中间件渗透总结

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

首次!统一调度系统规模化落地,全面支撑阿里巴巴双 11 全业务

阿里巴巴中间件

阿里云 云原生 中间件 双十一 统一调度

如何穿透ToB客户生命周期的全链增长?

ToB行业头条

前端的状态管理与时间旅行:San实践篇

百度开发者中心

大前端 san san-store 技术实践

浅谈 RDMA 与无损网络

青云技术社区

云计算 云原生 存储

混合云的概念以及优势劣势简单介绍-行云管家

行云管家

云计算 混合云 多云 云管平台

Python代码阅读(第58篇):压缩列表

Felix

Python 编程 列表 阅读代码 Python初学者

我所理解的社群—社群本质

sec01张云龙

社群 11月日更 社群运营

模块三作业——外包学生管理系统架构设计

覃飞

如何为实时音视频设计小且优的深度学习模型?(下)_文化 & 方法_声网_InfoQ精选文章