2021腾讯数字生态大会直播预约通道开启!技术内容大爆发,开发者必看! 了解详情
写点什么

一键修复女神林青霞旧照,背后用到了哪些 AI 技术?

2019 年 4 月 30 日

一键修复女神林青霞旧照,背后用到了哪些AI技术?

近日,第四届 NTIRE(New Trends in Image Restoration and Enhancement workshop and challenges)比赛结果公布,美图影像实验室 MTlab 在图像增强赛道(Image Enhancement Challenge)中斩获冠军,同时夺得图像去雾赛道(Image Dehazing Challenge)的季军,两个赛道均有超过 200 支团队报名。据悉,NTIRE 是目前规模最大、水平最高的图像恢复与增强的研讨会和比赛,吸引了众多国内外顶尖大学、研究机构和公司参加。

美图此次夺得冠、季军的图像增强和去雾技术很容易让人联想到最近大火的 AI 图像修复小程序“你我当年”。这个小程序使用的核心技术和美图获奖的技术是否有异曲同工之妙?AI 前线专门采访了美图技术人员,为大家解读这些神奇的图像修复技术背后的原理。


图像增强和去雾背后的技术

图像增强是指让算法处理之后的图像拥有更好的视觉效果,例如让普通手机拍摄的照片拥有接近单反照片的质感。



(使用图像增强技术前后对比图)


本次图像增强赛道采用了 MOS(mean opinion score)这个反映人主观评价的指标作为增强效果的主要评价标准,美图的 MOS 的得分为 2.784,是唯一一个 MOS 分数高于 2.6 的队伍。MTlab 的研究人员通过对图像美感建模,使得算法增强后的图像在视觉上更符合人的感知,AI 前线向美图技术人员了解了图像增强背后的具体技术:


在图像增强赛道,我们算法基于深度卷积神经网络技术,其中,网络结构设计是非常关键的一个步骤。我们最后夺冠使用的网络结构借鉴了 HRNet 的思想,可以同时抽取出具有 high-resolution 和 high-level 特性的特征,实验结果证明这些特征非常适合图像增强这个任务。设计损失函数是提升增强算法效果的另一个关键的步骤, 考虑到本次增强比赛采用 MOS 分数作为增强算法效果的衡量标准,我们在损失函数的设计上不仅使用了 L1,SSIM 和 TV 等传统损失函数,而且使用了 GAN 和 Perceptual-Loss 等和人的感知相关的损失函数。



(使用去雾技术前后对比图)


在图像去雾比赛中,参赛团队则需要从浓雾遮挡的画面中恢复出原有的图像内容,MTlab 在经典去雾模型的基础上,通过对抗生成网络(GAN)等方法有效还原图像的原始内容并获得季军,PSNR 分数为 19.46dB。美图技术人员解释了去雾技术背后的技术:


在图像去雾赛道,我们的网络模型设计更加侧重于对于图片全局信息的抽取,在网络中专门添加了用于抽取全局特征的模块。另外,由于去雾数据非常难以获得,本次比赛组织方提供的数据集比较小。为了扩充数据,我们训练了一个向图片中添加雾的网络,生成了更多的训练数据,从而极大的提升了去雾网络的最终效果。


美图影像实验室 MTlab 是美图公司的核心算法研发部门,专注于计算机视觉、深度学习、增强现实等领域,聚焦图像画质提升,包括图像增强、去噪去雾、超分辨率、HDR 等关键技术,在 MTlab 成立的 9 年间,美图自主研发的 AI 算法已落地到了众多产品功能中,如 BeautyCam 美颜相机超清人像、美图秀秀绘画机器人及动漫化身、美图手机超级夜景、美图魔镜虚拟试妆等,而此次比赛获冠、季军的图像增强和去雾技术等相关技术已经上线于美图开放平台(ai.meitu.com)。


和最近爆火的小程序“你我当年”AI 修复术有何异同?

美图的图像增强和去雾技术很容易让人联想到最近很火的“你我当年”小程序,据网友反映,这个小程序经过 AI 处理,可以把老旧照片的清晰度大大提高。



只不过,这个小程序也有缺点,就是处理时间较长,处理一张图片大约需要 7 个小时,但是手机能够正常使用。现在,这个小程序现在依然火爆,AI 前线试用了一下,发现已经有 2239 人在排队,需要等待 4 万多小时…



据天眼查信息显示,“你我当年”小程序背后是一家名不见经传的公司,名为北京大觥科技有限公司,经营范围包括技术开发、技术转让、软件开发等。而这个小程序的核心技术,据说 PS 就能做到,但过程会很复杂。那么,这和美图此次获奖的图像增强或去雾技术是否有相似之处呢?


美图技术人员表示,“你我当年”小程序的 AI 老照片修复与美图此次比赛获奖的技术的相似之处在于两个技术都是基于 AI 算法且都是数据驱动的。不同之处在于美图的算法更多的是考虑用户自然环境下人像自拍的画质提升,而“你我当年”是更多专注于质量比较低下的老照片修复 。


另外,AI 技术处理这些老旧图像的难度有多大?对照片的质量要求有多高?超过一定时间期限的图像是不是无法恢复?


对此,美图表示,几乎可以肯定的是,老旧照片修复这个问题需要用到数据驱动的深度学习算法。因此,什么样的照片能进行修复很大程度上取决于深度学习模型的训练数据,同时配合针对不同任务的算法调整。


除了老旧图像之外,老旧、模糊视频的复原也有很大需求。美图表示,图像和视频的恢复和增强一直是美图的研发重点,例如在美图 AI 开放平台上开放了画质增强 SDK,另外美颜相机超清人像功能也是其自主研发的数据驱动的全新 AI 美颜算法。


关于视频画质的提升,美图主要在做两方面的工作,第一是从视频采集的源头出发来提升视频的画质,主要包括视频编解码方面的工作,并已经落地到美图的产品中。第二是通过后处理来提升视频的画质,视频去噪、增强等算法也已经落地到产品,例如美拍当中。关于模糊视频的修复算法,美图目前也正在研发。


公布美图 AI 开放平台,开放 AI 能力

值得一提的是,在近期召开的 VALSE2019 视觉与学习青年学者研讨会上,美图影像实验室 MTlab 对外正式发布了“美图 AI 开放平台”(ai.meitu.com),进一步开放其技术能力,为线上线下各行业提供经过市场检验的专业 AI 服务。


美图技术人员透露,目前美图 AI 开放平台开放了人脸技术、人体技术、图像识别、图像处理、图像生成等几大类核心 AI 技术。这些技术可通过云端 API/移动端 SDK/定制解决方案等多种方式对外提供经过市场验证的专业 AI 算法服务。



2019 年 4 月 30 日 08:005832
用户头像

发布了 98 篇内容, 共 57.2 次阅读, 收获喜欢 284 次。

关注

评论

发布
暂无评论
发现更多内容

架构师训练营第九周学习总结

张明森

金融行业区块链技术应用有了“安全符”

CECBC区块链专委会

F5G+X:给5G一个伙伴,给千行百业一个拥抱

脑极体

极客时间 - 架构师培训 - 9 期作业

Damon

格一格你的情欲念

王进行

搭乘政策红利“快车” 欧科云链助力区块链人才培养

CECBC区块链专委会

nginx配置文件

张明森

LeetCode题解:70. 爬楼梯,递归+哈希表,JavaScript,详细注释

Lee Chen

LeetCode 前端进阶训练营

Docker 网络

北漂码农有话说

Docker

JVM参数手册

Rayjun

JVM GC

30岁的二三事

大唐小生

总结 个人感悟

来了来了!Docker安装及运行原理

程序员的时光

Java Docker 微服务

敏捷教练和Scrum Master - 敏捷转型中的两个重要角色的对比

Bob Jiang

Scrum 敏捷教练 ScrumMaster

Scrum Master是否需要懂技术

Bob Jiang

敏捷 敏捷开发 敏捷教练 ScrumMaster

刘华:事实证明,假敏捷都比瀑布优秀

刘华Kenneth

DevOps 敏捷 软件开发

无意中参加了infoQ的一期活动,获得了所有奖项,哈哈哈。。。

诸葛小猿

InfoQ 奖品

基于 opentracing + Jaeger 实现全链路追踪 ----理论部分

是老郭啊

Go 全链路监控 OpenTracing Jaeger

今天你内卷了吗?

池建强

个人成长 内卷化

JVM详解之:类的加载链接和初始化

程序那些事

Java JVM GC 加载

谈谈敏捷中的那些模式

Bob Jiang

敏捷 敏捷开发 敏捷教练

小伙伴想写个 IDEA 插件么?这些 API 了解一下!

程序员小航

IDEA idea插件 教程 API IntelliJ IDEA

“PlusToken”跨国网络传销案告破,涉案400亿元!

CECBC区块链专委会

微碳系:我心中的宇宙

Geek_116789

Dockerfile你值得拥有

北漂码农有话说

Docker

第九章作业

武鹏

你该知道的Docker-compose

北漂码农有话说

架构师训练营第九周作业

张明森

Python 多进程之间共享变量

AlwaysBeta

Python 进程

RRedis系列(八):缓存到底该如何做到高可用?

z小赵

redis 分布式系统 高并发系统设计

稳定匹配:幸福不靠等,脱单要主动

KAMI

生活 算法 方法论

什么是算法的大O表示法

码农神说

算法 时间复杂度 Java算法 大O

英特尔On技术创新峰会

英特尔On技术创新峰会

一键修复女神林青霞旧照,背后用到了哪些AI技术?-InfoQ