“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

作业帮直播课“手势识别”功能研发实践

  • 2021-02-28
  • 本文字数:1063 字

    阅读完需:约 3 分钟

作业帮直播课“手势识别”功能研发实践

只要对着屏幕竖起拇指,不到 1 秒,屏幕上便会回应同样的手势,完成一次“点赞”。这是“手势识别”AI 功能带给用户的互动体验。在作业帮直播课“小组直播间”中,“手势识别”功能收获一众“粉丝”,成为学生互动满意度最高的功能,本文介绍了该功能的研发过程。


项目需求

作业帮小学产品负责人曹越发现,师生间的肢体互动是活跃课堂气氛、提升上课效率的有效手段。尤其在“小组直播间”双向视频的模式下,由于师生间可以互相看见,类似的互动变得更加高频,一节课大约有 5~6 次。


与此同时,曹越也发现了“即时反馈缺失”带来的问题。“有时候老师让孩子给自己点个赞,点赞之后老师没有说把手放下,有的孩子可能就会一直举着,因为他们不确定老师是不是看见了自己的点赞。”


一位主讲老师同时面对数千甚至上万学生的课堂,有限的精力无暇回应每一位学生。是否能有这样一个功能,让学生的每一次参与都被感知,每一次互动都被回应?借助 AI 能力回应小学生在课堂上的互动行为,“手势识别”功能的需求被提出。

研发过程

作业帮智能技术实验室负责人王岩团队接到了这一需求。最初,在产研团队和主讲老师的头脑风暴环节,大概提出了 15-20 种手势,单手和双手都有。“产品要贴近应用,小朋友不理解的和老师上课用不到的,做了也没用。”王岩说。最后,根据老师课堂实用性,保留了点赞、比心、OK 等常用手势。


但在功能落地过程中,难点也随之而来。小朋友比划的形式、角度等都会影响识别的准确率,这就需要前期尽可能多地收集样本素材,更准确地定义各个手势。


针对每个手势,技术都会内部先录制一版 demo。因为要确定手势是否贴合小朋友的习惯,需要模拟孩子上课的视角。为此,技术老师编写了一个小程序。然后,一群程序员,聚在办公室里,打开手机前置摄像头,跟着自己编写的小程序,模仿小朋友做出各种比心、点赞的手势。


初版 demo 完成后,负责产品的聂靖骐开始在灰度测试中收集小朋友手势,总共发起 4-5 次收集。“由主讲老师在课中进行引导,让学生比出点赞、比心等手势。然后,根据各种手势的占比多少进行取舍。”最后,有近万名学生的 2000 多种手势被收录到系统中。


2020 年初,随着“小组直播间”的正式上线,手势识别的功能也被应用到课堂上。2020 年暑期,在小组直播间功能升级调研中,手势识别成为小学生互动满意度最高的功能,有 77.14%的小学生表示,非常满意,平均满意度达 4.7 分(满分 5 分)。


借助 AI 技术,作业帮让在线课堂活跃起来,变得更加有趣。对于接下来的规划,聂靖骐仍希望这项功能更好地应用到教学场景。“朝着这个方向,我们会继续丰富手势和提高识别准确率,为老师和学生带来更丰富的体验。”

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2021-02-28 10:005670

评论 3 条评论

发布
用户头像
dcfvdsgvsdfdsfdsfds
2021-03-03 03:30
回复
用户头像
😓
2021-02-28 13:05
回复
没有更多了
发现更多内容

PHP配置管理-yaconf

Dnnn

php

马云:今天的区块链并没有被人们认识到价值!

CECBC

区块链 阿里巴巴 马云

关于第四次财富狂潮的思考,区块链如猛虎出笼?

CECBC

比特币 区块链 数字货币

GO 语言异常处理

Dnnn

Go 语言

聊聊开发工程师如何转型产品经理

长沙造纸农

程序员 开发者 产品经理 转型 中年危机

理解大端字节和小端字节

Dnnn

如何设计Upload组件思考

赵孔磊

Centos 上配置大数据环境

yuanhang

大数据

URL 去重的 6 种方案!(附详细实现代码)

王磊

Java

MYSQL中时间类型底层存储,DATETIME ,TIMESTAMP,INT 如何选择?

Dnnn

起飞!这份技术点拉满的ELk+Lucene笔记,可能价值百万

小Q

Java lucene elasticsearch 架构 面试

学完微软技术总监整理的44 个微服务架构设计模式,我涨薪了

Java架构师迁哥

第13周学习总结

刘卓

TCP三次握手和四次挥手

Dnnn

教师节送什么老师最开心?程序员三招解决家长送礼难题!

华为云开发者联盟

编程 程序

anyRTC推流小助手-客户端推流(PUSH RTMP)工具

anyRTC开发者

技术 音视频 WebRTC 直播 RTC

分布式追踪系统原理看不懂,40张图带你亲手实践

小Q

Java 架构 面试 分布式 系统设计

GO 语言超时实现

Dnnn

Go 语言

GO 语言交叉编译

Dnnn

Go 语言

epoll的原理和流程

Dnnn

Linux命令netstat详解

Dnnn

程序员快乐器之JAVA代码生成工具

Learun

敏捷开发 快速开发 生成代码

阿里架构师耗时三个月整理的Spring实战笔记:入门到实战

Java架构师迁哥

ZIP 也能边下载边解压?优酷流式解压技术揭秘

阿里文娱技术团队

ZIP

PHP Db类强制读主库(master)的设计

Dnnn

php MySQL

Go语言 sync.Mutex 源码分析

Dnnn

Go 语言

Redis哨兵(sentinel )机制讲解

Dnnn

bit比特, Byte字节,基础知识

Dnnn

遇到银河提现不了网站维护审核怎么办?

丛林里的余光

数据库 网站平台 提现

GO语言 MD5 四种实现方式

Dnnn

Go 语言

或许是史上最好的AQS源码分析了,AQS基础一

InfoQ_d2212957090d

AQS

作业帮直播课“手势识别”功能研发实践_AI&大模型_筱澍_InfoQ精选文章