只要对着屏幕竖起拇指，不到 1 秒，屏幕上便会回应同样的手势，完成一次“点赞”。这是“手势识别”AI 功能带给用户的互动体验。在作业帮直播课“小组直播间”中，“手势识别”功能收获一众“粉丝”，成为学生互动满意度最高的功能，本文介绍了该功能的研发过程。
项目需求
作业帮小学产品负责人曹越发现，师生间的肢体互动是活跃课堂气氛、提升上课效率的有效手段。尤其在“小组直播间”双向视频的模式下，由于师生间可以互相看见，类似的互动变得更加高频，一节课大约有 5~6 次。
与此同时，曹越也发现了“即时反馈缺失”带来的问题。“有时候老师让孩子给自己点个赞，点赞之后老师没有说把手放下，有的孩子可能就会一直举着，因为他们不确定老师是不是看见了自己的点赞。”
一位主讲老师同时面对数千甚至上万学生的课堂，有限的精力无暇回应每一位学生。是否能有这样一个功能，让学生的每一次参与都被感知，每一次互动都被回应？借助 AI 能力回应小学生在课堂上的互动行为，“手势识别”功能的需求被提出。
研发过程
作业帮智能技术实验室负责人王岩团队接到了这一需求。最初，在产研团队和主讲老师的头脑风暴环节，大概提出了 15-20 种手势，单手和双手都有。“产品要贴近应用，小朋友不理解的和老师上课用不到的，做了也没用。”王岩说。最后，根据老师课堂实用性，保留了点赞、比心、OK 等常用手势。
但在功能落地过程中，难点也随之而来。小朋友比划的形式、角度等都会影响识别的准确率，这就需要前期尽可能多地收集样本素材，更准确地定义各个手势。
针对每个手势，技术都会内部先录制一版 demo。因为要确定手势是否贴合小朋友的习惯，需要模拟孩子上课的视角。为此，技术老师编写了一个小程序。然后，一群程序员，聚在办公室里，打开手机前置摄像头，跟着自己编写的小程序，模仿小朋友做出各种比心、点赞的手势。
初版 demo 完成后，负责产品的聂靖骐开始在灰度测试中收集小朋友手势，总共发起 4-5 次收集。“由主讲老师在课中进行引导，让学生比出点赞、比心等手势。然后，根据各种手势的占比多少进行取舍。”最后，有近万名学生的 2000 多种手势被收录到系统中。
2020 年初，随着“小组直播间”的正式上线，手势识别的功能也被应用到课堂上。2020 年暑期，在小组直播间功能升级调研中，手势识别成为小学生互动满意度最高的功能，有 77.14%的小学生表示，非常满意，平均满意度达 4.7 分（满分 5 分）。
借助 AI 技术，作业帮让在线课堂活跃起来，变得更加有趣。对于接下来的规划，聂靖骐仍希望这项功能更好地应用到教学场景。“朝着这个方向，我们会继续丰富手势和提高识别准确率，为老师和学生带来更丰富的体验。”
Java 避坑指南：Java 高手笔记代码篇
本迷你书包括 86 个业务开发中常见踩坑点。每一个知识点都相当的实用，是程序员业务开发中的必备避坑指南...
评论 3 条评论