写点什么

快手上线手部姿态估计功能,支持任意手势姿态估计

  • 2019 年 4 月 25 日
  • 本文字数:1635 字

    阅读完需:约 5 分钟

快手上线手部姿态估计功能,支持任意手势姿态估计

随着技术的发展,研发人员越来越希望寻找一些不同的人机交互方式,其中实时手部姿态估计就是科学家们重点关注的研究方向之一 。简单的说,手部姿态估计是让计算机理解人体肢体语言的一种手段。通过该技术,人机交互不再限于文字接口或者鼠标键盘控制的用户图像界面。


近日,快手上线了手部姿态估计功能,成为行业首家。


00:00 / 00:00
    1.0x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.5x
    网页全屏
    全屏
    00:00


    用户只要按照说明做出相应的手势,就可以被加上各种有意思的特效。用户在使用这款产品拍摄时,算法会自动识别出手型类别,并估计手部关键点位置。根据关键点位置和手型类别,可以产生不同的特效效果或者跟画面内容进行人机交互。用户既可以通过手型触发相应的特效效果,也可以实现指节级精准控制和跟随。


    揭秘手势识别,快手解决了哪些问题?

    手势识别技术由快手 2016 年组建的 Y-Lab 团队手势研发小组研发。这一年,为了研发出更多能给用户带来新奇体验的新技术,快手组建了一支由高学历研发人员组成的队伍,研究领域涉及人工智能、机器学习、计算机视觉、计算机图形学和增强现实等。2018 年,为了让技术能更好的和产品结合,快手将 Y-Lab 更名为 Y-tech。


    据 Y-tech 手势研发组负责人介绍,手势识别技术是指检测图片或视频中的人手,并预测检出人手的手型以及关键点位置的技术。


    常见的手势识别技术包括:手型识别、二维手部姿态估计和三维手部姿态估计。从手型识别到三维手部姿态估计,需要识别的信息越来越多,研发困难指数级增加。在上面演示的功能里,就包含了:人手检测、手型识别和二维手部姿态估计。


    目前手型识别在业界已比较成熟,而二维手部姿态估计目前还不是很成熟,据介绍,快手应该是业界首家在移动端上应用该技术的公司。而三维手部姿态估计技术难度较大,目前只能通过特殊的硬件,比如双目和深度摄像头才能实现。


    研发手势识别过程中,Y-tech 团队积累了很多技术和解决方案,包括算法策略、网络结构设计、模型优化和底层加速等,这些经验也完全可以复用到其他场景中。


    相比于目前人工智能领域落地比较广泛的人脸识别,手势识别技术存在着一些技术难点,Y-tech 手势研发负责人表示:“手部的自由度很高,自遮挡严重,特征不明显,相对人脸会更难一些。”


    以快手为例,目前这一功能可同时检测多手,支持多达 17 种手型识别,并能够识别任意手势 21 个二维关键点。为了实现这些功能,研发团队克服了不少难题:


    • 人手在相机中的占比较小,高效的进行小目标检测目前在业界是很难的问题;


    • 人手自遮挡严重、关节活动自由度高;


    • 用户手机只有单目图像,需纯靠视觉算法实现;


    • 用户手机摄像头拍摄质量不同,用户在摆同样手型时方式多样。


    该负责人表示,团队先是改进了检测算法的框架,提高了小目标的检测能力,并且根据人手的特点,融合先验知识,降低问题复杂度,达到了提升预测效果。


    由于不同用户手机的运算能力是不同的,而同一款软件要想被更多用户使用,就要兼顾各种机型的情况,快手 AI 实验室通过两方面解决了这一难题:


    一、在算法层面,研发人员设计了高效的神经网络结构,并且在不同的机型上采用了不同算法策略;


    二、在工程实现上,通过快手自研的 YCNN 对不同手机的硬件架构做了高度的适配和性能优化,能够使用 CPU、GPU、NPU、DSP 等多种运行模式,解决了 AI 技术运行受限于用户设备计算量的问题。


    下一步:未来将尝试三维手部重建

    对于快手来说,在手机应用中增加手势识别功能是一项尝试,功能上肯定是有不少需要完善的地方,研发团队告诉我们,目前该产品算法对运动模糊和手部重叠的处理还不完善,是接下来需要重点解决的问题,并且未来团队会尝试在端上进行三维手部重建,为更精确的动作识别和交互做技术储备。除了在短视频领域有所应用,在游戏、增强现实、直播、教育等领域应用手势识别技术也将成为一种趋势,同样也是快手探索的方向。


    手势识别技术发展至今,已经有不少企业在不同的领域进行过尝试,未来手势识别的应用场景也是十分广阔的,除了小手识别和运动模糊等传统问题之外,如何结合端上双目摄像头和深度摄像头信息提升手势识别效果也将是行业重点关注的问题。


    2019 年 4 月 25 日 16:249497
    用户头像
    陈思 InfoQ编辑

    发布了 576 篇内容, 共 227.0 次阅读, 收获喜欢 1252 次。

    关注

    评论 3 条评论

    发布
    用户头像
    手势识别应用也是分不同等级的,这篇里行业首家是说快手21个关键点都能识别,而且在实际应用兼顾中低端机型吧。musicaly的那个只是demo,目前抖音应用的貌似只有手型识别和指尖识别?
    2019 年 04 月 29 日 16:36
    回复
    用户头像
    哈哈哈,行业首家,一个真敢吹,一个真敢写,小编自己好好玩玩抖音及其他短视频类app再写文章比较靠谱
    2019 年 04 月 25 日 23:15
    回复
    用户头像
    首发吗?17年在上海的GDD上musical.ly(之后被字节跳动收购,合并入抖音)就已经展示了哦:https://36kr.com/p/5107908,现在这个技术早就在抖音里面的特效里用上了吧
    2019 年 04 月 25 日 23:04
    回复
    没有更多了
    发现更多内容

    RocketMQ 很慢?引出了一个未解之谜

    阿里巴巴云原生

    开源 云原生 中间件 Java 25 周年 Arthas

    “摸爬滚打”多年,从月薪3K到30Kjava大神,我是怎么蜕变的?

    比伯

    Java 编程 架构 面试 计算机

    华为云MVP高浩:打破AI开发瓶颈,解决数据、算法、算力三大难题

    华为云开发者社区

    人工智能 数据 华为云

    区块链商品溯源系统开发,区块链防伪追溯系统

    13530558032

    架构师训练营第 1 期 第 10 周作业

    李循律

    LeetCode题解:121. 买卖股票的最佳时机,暴力法,JavaScript,详细注释

    Lee Chen

    算法 大前端 LeetCode

    【行业分享】叮咚课堂邱明丰:在线教育的最终形态的探索

    ZEGO即构

    使用resilio实现多集群的k8s pod数据双向非实时同步

    东风微鸣

    Kubernetes 探索与实践 openshift

    MindSpore手写数字识别初体验,深度学习也没那么神秘嘛

    华为云开发者社区

    人工智能 学习 手写识别

    时空碰撞系列·终

    誓约·追光者

    数据分析 Sparksql

    深入了解物理内存管理-伙伴(Buddy)算法

    ShenDu_Linux

    Linux 算法 内存管理 内核

    从应用迁移到平台微认证:鲲鹏技术解读

    华为云开发者社区

    鲲鹏 代码迁移 arm

    使用 Jira Service Management 管理资产,您需要知道的5件事

    Atlassian

    数字化转型 Atlassian Jira ITSM ITIL

    首家支持阿里云函数计算 APM技术为Serverless环境赋能

    博睿数据

    阿里云 Serverless 运维 APM 函数

    多线程源码明白了吗?不明白的话来看腾讯大牛给你画的面试重点

    996小迁

    Java 学习 编程 架构 面试

    区块链电子票据解决方案--区块链赋能纳税服务

    13530558032

    Vim - 可能是投资回报率最高的 Editor

    star_fx

    vim

    Arthas 实践——生产环境排查 CPU 飚高问题

    阿里巴巴云原生

    开源 云原生 中间件 Java 25 周年 Arthas

    产业新基建,撬动数字经济发展新机遇

    京东科技开发者

    人工智能 新基建 京东

    对于CRM之于现代化企业的影响以及作用的分析

    Marilyn

    敏捷开发 快速开发 企业开发 CRM 企业应用

    最近我发现瑞幸在这样做私域运营

    Linkflow

    营销数字化 客户数据平台 CDP 私域运营

    怎么保护自己的音乐作品不被盗用,用FL制作防盗水印片段。

    奈奈的杂社

    架构师训练营第十一周作业

    邓昀垚

    什么是低代码(Low-Code)?

    阿里巴巴云原生

    程序员 云原生 代码

    一点就透的二分查找算法

    比伯

    Java 编程 程序员 面试 计算机

    业务中台建设 - 自底向上演进

    孝鹏

    架构 中台 业务线 数字化转型 沟通

    打工人、打工魂、高效MES助力打工者都是人上人

    Learun

    敏捷开发

    架构师训练营第十一周总结

    邓昀垚

    架构师训练营第二周框架设计学习总结

    Geek_xq

    Spring Boot 2.4.0正式发布,全新的配置文件加载机制(不向下兼容)

    YourBatman

    云原生 Spring Boot 新特性

    架构师第一期作业(第 11 周)

    Cheer

    作业

    快手上线手部姿态估计功能,支持任意手势姿态估计_AI_陈思_InfoQ精选文章