写点什么

作业帮直播课“手势识别”功能研发实践

2021 年 2 月 28 日

作业帮直播课“手势识别”功能研发实践

只要对着屏幕竖起拇指,不到 1 秒,屏幕上便会回应同样的手势,完成一次“点赞”。这是“手势识别”AI 功能带给用户的互动体验。在作业帮直播课“小组直播间”中,“手势识别”功能收获一众“粉丝”,成为学生互动满意度最高的功能,本文介绍了该功能的研发过程。


项目需求

作业帮小学产品负责人曹越发现,师生间的肢体互动是活跃课堂气氛、提升上课效率的有效手段。尤其在“小组直播间”双向视频的模式下,由于师生间可以互相看见,类似的互动变得更加高频,一节课大约有 5~6 次。


与此同时,曹越也发现了“即时反馈缺失”带来的问题。“有时候老师让孩子给自己点个赞,点赞之后老师没有说把手放下,有的孩子可能就会一直举着,因为他们不确定老师是不是看见了自己的点赞。”


一位主讲老师同时面对数千甚至上万学生的课堂,有限的精力无暇回应每一位学生。是否能有这样一个功能,让学生的每一次参与都被感知,每一次互动都被回应?借助 AI 能力回应小学生在课堂上的互动行为,“手势识别”功能的需求被提出。

研发过程

作业帮智能技术实验室负责人王岩团队接到了这一需求。最初,在产研团队和主讲老师的头脑风暴环节,大概提出了 15-20 种手势,单手和双手都有。“产品要贴近应用,小朋友不理解的和老师上课用不到的,做了也没用。”王岩说。最后,根据老师课堂实用性,保留了点赞、比心、OK 等常用手势。


但在功能落地过程中,难点也随之而来。小朋友比划的形式、角度等都会影响识别的准确率,这就需要前期尽可能多地收集样本素材,更准确地定义各个手势。


针对每个手势,技术都会内部先录制一版 demo。因为要确定手势是否贴合小朋友的习惯,需要模拟孩子上课的视角。为此,技术老师编写了一个小程序。然后,一群程序员,聚在办公室里,打开手机前置摄像头,跟着自己编写的小程序,模仿小朋友做出各种比心、点赞的手势。


初版 demo 完成后,负责产品的聂靖骐开始在灰度测试中收集小朋友手势,总共发起 4-5 次收集。“由主讲老师在课中进行引导,让学生比出点赞、比心等手势。然后,根据各种手势的占比多少进行取舍。”最后,有近万名学生的 2000 多种手势被收录到系统中。


2020 年初,随着“小组直播间”的正式上线,手势识别的功能也被应用到课堂上。2020 年暑期,在小组直播间功能升级调研中,手势识别成为小学生互动满意度最高的功能,有 77.14%的小学生表示,非常满意,平均满意度达 4.7 分(满分 5 分)。


借助 AI 技术,作业帮让在线课堂活跃起来,变得更加有趣。对于接下来的规划,聂靖骐仍希望这项功能更好地应用到教学场景。“朝着这个方向,我们会继续丰富手势和提高识别准确率,为老师和学生带来更丰富的体验。”

2021 年 2 月 28 日 10:001614

评论 3 条评论

发布
用户头像
dcfvdsgvsdfdsfdsfds
2021 年 03 月 03 日 03:30
回复
用户头像
😓
2021 年 02 月 28 日 13:05
回复
没有更多了
发现更多内容

容器 & 服务: 扩容

程序员架构进阶

容器 k8s 28天写作 弹性扩容 4月日更

Pytorch数据加载

Sakura

四月日更

聪明人的训练(二十四)

Changing Lin

4月日更

亲爱的开发者,您收到一个启动智能世界的魔方

白洞计划

ipfs挖矿是怎么赚钱的?ipfs挖矿收益有哪些方面?

v:IPFS456

数字货币 Filecoin #区块链# IPFS怎么挖矿 IPFS挖矿可靠吗

编程实战:如何管理代码里的常量

华为云开发者社区

常量 代码 web开发 final常量类 复用常量

量化策略系统搭建,马丁策略交易

13823153121

情指行一体化平台建设解决方案,智慧公安警务系统开发

WX13823153201

读《小岛经济学有感》

箭上有毒

读书笔记 4月日更

NumPy之:标量scalars

程序那些事

Python 数据分析 Numpy 程序那些事 scalar

合约交易所跟单,合约跟单社区开发

13823153121

当我看技术文章的时候,我在想什么?

why技术

Java

PassJava 初始化项目和添加微服务

悟空聊架构

图算法系列之深度优先搜索(一)

Silently9527

Java 深度优先搜索 图算法

mmkv跨进程,面试字节跳动Android研发岗,灵魂拷问

欢喜学安卓

android 程序员 面试 移动开发

ndk开发环境,个人开发者做一款App需要知道的事情,绝对干货

欢喜学安卓

android 程序员 面试 移动开发

闲来无事,写脚本,install_wordpress

陈迪

架构实战营详细架构设计文档模板

华仔

架构设计 文档模板

如何控制项目的访问权限来保证项目安全?SpringBoot集成Spring Security安全框架使用指南

攻城狮Chova

security 安全性 shiro 4月日更

【go专题】Context的理解

南吕

Golag 4月日更

一场关于演讲的演讲

Jxin

游戏测试-战斗内核的自动化测试

行者AI

人工智能

扩展 GRTN:云原生趋势下的 RTC 架构演进

阿里云视频云

阿里云 云原生 RTC SRS流媒体服务器

新思科技发布《疫情中的安全隐患:移动应用程序安全现状》报告

InfoQ_434670063458

App 新思科技 移动应用程序安全

边缘计算加持下的智慧社区

浪潮云

边缘计算

浅谈BSS3.0产品“守成”之策下 • 运维提升篇

鲸品堂

软件 运维 提升

2021|南吕

南吕

生活随想 4月日更

广告主营销策略的改变,为什么总离不开户外媒体?

󠀛Ferry

四月日更

手把手教你写一个经典躲避游戏

HZFEStudio

前端 游戏 前端教程 canvas

【Node专题】Node 与 Go 的认识

南吕

Node 后端开发 4月日更

MBP恢复记(体验rm -rf /*)

SamGo

学习经验

Leader修炼指“北”:管理路上的大小Boss

Leader修炼指“北”:管理路上的大小Boss

作业帮直播课“手势识别”功能研发实践-InfoQ