装箱百万奖金,第六届全国工业互联网数据创新应用大赛火热报名中! 了解详情
写点什么

清华 & 商汤开源超高精度边缘感知人脸对齐算法

  • 2018-09-09
  • 本文字数:0 字

    阅读完需:约 1 分钟

AI 前线导读:人脸对齐是找到人脸位置之后,再找出人脸特征点的位置,比如鼻子左侧,鼻孔下侧,瞳孔位置,上嘴唇下侧等等点的位置。可以理解成面部特征点定位或者人脸五官定位。这项技术的应用很广泛,比如自动人脸识别,表情识别以及人脸动画自动合成等。由于不同的姿态、表情、光照以及遮挡等因素的影响,准确地定位出各个关键特征点看似很困难。来自中国的清华大学和商汤提出了新的人脸对齐的算法,让我们先从一部视频开始:

我们提出了一种新的边缘感知人脸对齐(boundary-aware face alignment)算法,利用边缘作为面部的几何结构,进行面部特征点定位(facial landmark localisation)。与传统的两种方法(基于热点和基于回归)不同,我们的方法是从边缘提取面部特征点,消除了特征点定义的模糊性。我们在本文探讨并回答如下三个问题:

  1. 为什么使用边缘?
  2. 如何使用边缘?
  3. 边缘估计和特征点定位之间有什么关系?

我们的边缘感知人脸对齐算法在 300-W Fullset 实现了 3.49% 的平均误差,很大程度上,超过了目前最先进的方法。除此之外,我们的方法还可以很轻松地整合来自其他数据集的信息。利用 300-W 数据集的边缘信息,我们的方法在 COFW 数据集上实现了 3.92% 的平均误差,0.39% 的失效率;在 AFLW-Full 数据集实现了 1.25% 的平均误差。另外,我们还提出了一种新型数据集“ Wider Facial Landmark in the Wild”(WFLW),统一以不同的因素进行训练和测试,这些不同的因素包括姿势、表情、照明、化妆、遮挡和模糊等。有关该系统的详细说明,请参阅论文: https://wywu.github.io/projects/LAB/LAB.html

引文

如果你要使用此代码或 WFLW 数据集进行研究,请引用我们的论文:

必备条件

  • Linux
  • Python 2 或 3
  • CPU 或 NVIDIA GPU + CUDA CuDNN

入门指南

安装

  1. 安装 prerequisites for Caffe

    http://caffe.berkeleyvision.org/installation.html#prequequisites
  2. Modified-caffe for LAB

    https://github.com/wywu/LAB.git

下载 Wider Facial Landmark in the Wild(WFLW)数据集

Wider Facial Landmark in-the-wild(WFLW)是我们新提出的面部数据集,包含了 10000 张面部(其中 7500 张用训练,2500 张用于测试),98 个完全手动注释的特征点。

  1. WFLW Training 和 Testing images [ Google Drive ] [ Baidu Drive ]
  2. WFLW Face Annotations
  3. 将上述两个包解压并放到./datasets/WFLW文件夹

只需运行如下脚本即可下载 WFLW 的注释:

在 WFLW 上测试 LAB

我们提供了两个预训练模型:

复制代码
WFLW_final: 在论文中,最终模型对 WFLW 进行了评估。
WFLW_wo_mp: 简化的模型由于没有消息传递层,更易阅读。
  1. 下载预训练模型:

  1. 测试模型:

测试结果将以文本文件的形式保存到此文件夹中:./evaluation/WFLW/

WFLW_final 模型在 WFLW 上的结果

训练

出于我们公司的安全考虑,很遗憾我们不能发布训练脚本。但是,就训练来说,你需要做的就是使用我们发布的代码并添加本文中描述的数据进行扩充。以我们发布的 prototxt 文件作为参考,并利用本文中描述的超参数,完全可以轻松再现论文报告的性能。

待办清单

支持的数据集:

支持的模型:

参考资料: Look at Boundary: A Boundary-Aware Face Alignment Algorithm

感谢陈利鑫对本文的策划和审校。

2018-09-09 18:1618528
用户头像

发布了 359 篇内容, 共 148.5 次阅读, 收获喜欢 917 次。

关注

评论

发布
暂无评论
发现更多内容

模块五作业

心怀架构

记录:一个从0-1打磨演讲的技术专家

将军-技术演讲力教练

如何掌握智识?

卢卡多多

28天写作 12月日更

如何构建“深入浅出,喜闻乐见”的界面

Ian哥

28天写作 沟通界面 深入浅出 喜闻乐见

TypeScript 之常见类型(下)

冴羽

JavaScript typescript 翻译 大前端

Rust 元宇宙 12 —— 序列化和存储

Miracle

rust 元宇宙

邀请函|2021 云原生实战峰会,邀请您免费现场参会报名

阿里巴巴云原生

阿里云 云原生 峰会

聊聊SAAS

Im胡子

SaaS

微博评论的高性能高可用架构设计

zjluoyue

linux之cp强制复制文件

入门小站

Linux

互联网公司如何塑造一支有创业精神的技术团队?

阿里巴巴中间件

创业 阿里云 中间件

微博系统中”微博评论“的高性能高可用计算架构设计

stars

架构训练营

x

Nydia

解密 Dubbo 三大中心的部署架构

阿里巴巴中间件

阿里云 微服务 云原生 dubbo 中间件

ASP.NET Core中三个egg疼的路由函数

喵叔

28天写作 12月日更

架构实战营第五课作业微博评论高性能高可用架构

Geek_99eefd

架构实战营 「架构实战营」

还在担心流量防护问题?Sentinel来帮你!

XiaoLin_Java

SpringCloud Alibaba 流量防控 签约计划第二季

基于云的技术架构设计实践-第1篇

hackstoic

云计算 容器 云原生 CI/CD 签约计划第二季

SpringCloudAlibaba微服务技术栈精讲大合集

XiaoLin_Java

内容合集 签约计划第二季 技术专题合集

模块5作业

Asha

趣谈“分布式链路追踪“组件发展史

悟空聊架构

分布式 链路追踪 28天写作 悟空聊架构 12月日更

架构实战营 - 模块5 - 作业

lucian

架构实战营

前端架构师神技,三招统一代码风格

杨成功

大前端 架构师 代码规范 代码格式化 签约计划第二季

Dubbo-Admin 正式支持 3.0 服务治理

阿里巴巴中间件

阿里云 云原生 dubbo 中间件 服务治理

微博系统中”微博评论“的高性能高可用计算架构

Geek_cb2b43

模块五作业

小鹿

040022-week5-design

InfoQ_70156470130f

[Pulsar] 设置JWT认证

Zike Yang

Apache Pulsar 12月日更

在线火星文转换器工具

入门小站

工具

模块五作业

侠客行

架构实战营 「架构实战营」

架构实战-模块五

唐敏

「架构实战营」

清华&商汤开源超高精度边缘感知人脸对齐算法_语言 & 开发_Wayne Wu_InfoQ精选文章