阿里云飞天发布时刻,领先大模型限免,超7000万 tokens免费体验 了解详情
写点什么

作业帮直播课“手势识别”功能研发实践

  • 2021-02-28
  • 本文字数:1063 字

    阅读完需:约 3 分钟

作业帮直播课“手势识别”功能研发实践

只要对着屏幕竖起拇指,不到 1 秒,屏幕上便会回应同样的手势,完成一次“点赞”。这是“手势识别”AI 功能带给用户的互动体验。在作业帮直播课“小组直播间”中,“手势识别”功能收获一众“粉丝”,成为学生互动满意度最高的功能,本文介绍了该功能的研发过程。


项目需求

作业帮小学产品负责人曹越发现,师生间的肢体互动是活跃课堂气氛、提升上课效率的有效手段。尤其在“小组直播间”双向视频的模式下,由于师生间可以互相看见,类似的互动变得更加高频,一节课大约有 5~6 次。


与此同时,曹越也发现了“即时反馈缺失”带来的问题。“有时候老师让孩子给自己点个赞,点赞之后老师没有说把手放下,有的孩子可能就会一直举着,因为他们不确定老师是不是看见了自己的点赞。”


一位主讲老师同时面对数千甚至上万学生的课堂,有限的精力无暇回应每一位学生。是否能有这样一个功能,让学生的每一次参与都被感知,每一次互动都被回应?借助 AI 能力回应小学生在课堂上的互动行为,“手势识别”功能的需求被提出。

研发过程

作业帮智能技术实验室负责人王岩团队接到了这一需求。最初,在产研团队和主讲老师的头脑风暴环节,大概提出了 15-20 种手势,单手和双手都有。“产品要贴近应用,小朋友不理解的和老师上课用不到的,做了也没用。”王岩说。最后,根据老师课堂实用性,保留了点赞、比心、OK 等常用手势。


但在功能落地过程中,难点也随之而来。小朋友比划的形式、角度等都会影响识别的准确率,这就需要前期尽可能多地收集样本素材,更准确地定义各个手势。


针对每个手势,技术都会内部先录制一版 demo。因为要确定手势是否贴合小朋友的习惯,需要模拟孩子上课的视角。为此,技术老师编写了一个小程序。然后,一群程序员,聚在办公室里,打开手机前置摄像头,跟着自己编写的小程序,模仿小朋友做出各种比心、点赞的手势。


初版 demo 完成后,负责产品的聂靖骐开始在灰度测试中收集小朋友手势,总共发起 4-5 次收集。“由主讲老师在课中进行引导,让学生比出点赞、比心等手势。然后,根据各种手势的占比多少进行取舍。”最后,有近万名学生的 2000 多种手势被收录到系统中。


2020 年初,随着“小组直播间”的正式上线,手势识别的功能也被应用到课堂上。2020 年暑期,在小组直播间功能升级调研中,手势识别成为小学生互动满意度最高的功能,有 77.14%的小学生表示,非常满意,平均满意度达 4.7 分(满分 5 分)。


借助 AI 技术,作业帮让在线课堂活跃起来,变得更加有趣。对于接下来的规划,聂靖骐仍希望这项功能更好地应用到教学场景。“朝着这个方向,我们会继续丰富手势和提高识别准确率,为老师和学生带来更丰富的体验。”

2021-02-28 10:006848

评论 3 条评论

发布
用户头像
dcfvdsgvsdfdsfdsfds
2021-03-03 03:30
回复
用户头像
😓
2021-02-28 13:05
回复
没有更多了
发现更多内容

软件测试|一文教你Python实现不同数据类型互转

霍格沃兹测试开发学社

敏捷专题:新一代的汽车软件研发

DevOps和数字孪生

敏捷 仿真建模 汽车行业

Kafka基本原理、生产问题总结及性能优化实践 | 京东云技术团队

京东科技开发者

消息队列 Kafk

软件测试|Python列表的使用,你都会了吗?(二)

霍格沃兹测试开发学社

对话InfoQ,聊聊百度开源高性能检索引擎 Puck

百度Geek说

百度 开源

软件测试|Python列表的使用,你都会了吗?(一)

霍格沃兹测试开发学社

软件测试|一文弄懂Python集合相关操作

霍格沃兹测试开发学社

韩山师范学院学子获第四届“火焰杯”软件测试开发选拔赛全国奖项

测试人

软件测试

软件测试|把datetime拍在沙滩上的pendulum模块

霍格沃兹测试开发学社

第21期 | GPTSecurity周报

云起无垠

聊聊性能测试的左移右移

老张

性能测试 稳定性保障 质量门禁

ScreenFlow 10 for mac屏幕录像软件

展初云

Mac 屏幕录像 ScreenFlow

软件测试|超好用超简单的Python GUI库——tkinter

霍格沃兹测试开发学社

一文讲透DevOps理论体系的演进 | 京东云技术团队

京东科技开发者

DevOps 自动化 DevOps工具

软件测试|数据可视化神器——pyecharts教程(二)

霍格沃兹测试开发学社

mac VM虚拟机中文版 VMware Fusion Pro 13 密钥激活 附 安装教程

Rose

VMware Fusion Pro 13 VM虚拟机破解版 VMware Fusion激活秘钥 Mac虚拟机下载

软件测试|测试开发之路--UI 自动化常用设计模式

霍格沃兹测试开发学社

Infuse 7 Pro for Mac音视频播放器

展初云

播放器 Mac软件 Infuse

软件测试|Python数据可视化神器——pyecharts教程(一)

霍格沃兹测试开发学社

「直播回放」使用 PLC + OPC + TDengine,快速搭建烟草生产监测系统

TDengine

tdengine 时序数据库

软件测试|Python字符串的这些操作,你可都学会了?

霍格沃兹测试开发学社

Vert.x教程(一):如何搭建一个web应用

Kevin_913

Java 教程 Vert.x

Mac上用于网络数据流量分析和嗅探的软件 Debookee 8

展初云

Mac软件 网络数据分析

当我们在谈论构造函数注入的时候我们在谈论什么 | 京东物流技术团队

京东科技开发者

Java 面向对象 构造函数 依赖注入 函数注入

Proxifier for Mac(附Proxifier注册码):轻松实现全局代理,加速网络访问!

Rose

跨境电商 全局代理客户端 Proxifier破解版 Proxifier下载 Proxifier mac

软件测试|Python数据可视化神器——pyecharts教程(三)

霍格沃兹测试开发学社

基于开源IM即时通讯框架MobileIMSDK:RainbowChat-iOS端v8.0版已发布

JackJiang

网络编程 即时通讯 IM

AI赋能,轻松出爆文!AI新闻创作新时代,你准备好了吗?

飞桨PaddlePaddle

新闻 AIGC 新闻写作

为什么idea建议使用“+”拼接字符串 | 京东云技术团队

京东科技开发者

IDEA StringBuilder 字符串拼接

作业帮直播课“手势识别”功能研发实践_AI&大模型_筱澍_InfoQ精选文章