AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

美图海量短视频内容分析与检索(二)

  • 2019-11-30
  • 本文字数:977 字

    阅读完需:约 3 分钟

美图海量短视频内容分析与检索(二)

如何有效定义标签体系

我们有一个热门视频池,运营和产品会手动为一些视频打上标签。你可能会说,我们可以拿这部分标签做模型训练。如果我们将业务标签应用于算法会存在哪些问题呢?


一是业务的标签比较抽象,比如可能会制定像搞笑和幽默这样的一些标签。但一个视频是否算搞笑、幽默,无法仅从视觉或声音、语音等一些信息进行准确判定。


举个例子,一个 3 岁的小孩在哭,父母上传的可能会是一个搞笑的视频,如果是 20 多岁或者 50 多岁的人在哭,那就是一个悲伤的视频。


二是训练数据不均衡,上图是我们拿到的一部分业务标签对应的数据量,因为业务人员在定标签的时候不会考虑每个类别是什么样的,所以就会出现训练数据不均衡的问题,这个也会影响算法模型的训练。


另一个问题是类别区分度低。以上图为例,手指舞和自拍,从视觉角度来看没有任何区别,如果训练中强行将其分成两类,也会在训练过程中影响网络模型的学习,会引起一些噪声。


还有一个问题是标签的维度比较单一。通常一个视频,最多给四到五个维度的标签,再多的话,想全面衡量这个视频会变得非常复杂。


我们的解决方法是,以业务标签作为指引,拿我们的视频数据和文本数据(伴随视频的标题、评论相关信息)去提取视频特征、音频特征进行聚类,然后对聚类进行抽象定义,得出相应的视觉标签元素。这个标签元素就是我们用来训练的标签。最后训练标签输出的结果会反过来映射到业务标签,用这种方法定义的标签是多层级多维度的。


如下图所示,视频中是一个女生,视频中的姿态显示为全身,动作是在摇摆,检测到的音乐风格为摇滚,那么可以判断这个视频是一个美女在自拍,而且在跳舞,属于才艺展示,于是生成的标签就是“美女自拍”、“舞蹈”、“才艺”。这就完成一个算法标签到业务标签的映射。

如何提高线上算法模型的迭代更新效率

这里有三个核心问题:快速的数据标注、有效稳定的模型评估机制、算法运行的性能要有保障。


为了进行快速标注,我们也用了一个自动的算法标注,这个算法在无监督和半监督的深度学习的论文中被提到过。我们会预先拿一个通用的数据训练模型,对业务数据进行少量的标注,基于少量的标注数据再训练一个分类器。这个分类器会给其它未标注的进行标注。伴随标签输出会有一些置信度,会把高置信度的数据再拿去进行训练,低置信度的会继续下一次的迭代更新,这个过程会重复多次。这个过程也会根据任务的难度,加入人工的核验和标注。


2019-11-30 22:53887

评论

发布
暂无评论
发现更多内容

收不到异步通知的原因

盐焗代码虾

支付宝 异步通知 排查思路

LED电子显示屏技术参数的选购指南

Dylan

LED显示屏 全彩LED显示屏 户外LED显示屏 led显示屏厂家

登上CCTV-1!用友行业化解决方案获最具商业价值奖!

用友BIP

什么是高防IP,该如何选择一个好的高防IP

德迅云安全_初启

使用 GPT4V+AI Agent 做自动 UI 测试的探索 | 京东云技术团队

京东科技开发者

Web 自动化测试 UI测试 GPT

软通咨询彭智勇(下):融合“咨询+实施”能力,重塑供应链金融

软通咨询

数据智能 供应链金融 数字化咨询

代理服务器:保护隐私、突破限制、加速访问的重要工具

服务器 计算机

性能翻倍!京东亿级体量小程序优化实践 | 京东云技术团队

京东科技开发者

小程序 性能优化 前端

积极推动数字化转型高质量发展,融云获中国信通院致谢

融云 RongCloud

数字化转型 通信 即时通讯 办公 融云

CVer从0入门NLP——GPT是如何一步步诞生的

秃头小苏

nlp #技术人的2023总结

数智驱动,优化资产配置,助力经营效益最大化

用友BIP

资产管理

软件测试/测试开发丨黑盒测试方法-边界值 学习笔记

测试人

堡垒机的演变过程

尚思卓越

堡垒机

Go应用性能分析实战

俞凡

golang

酒店集团推行“共享用工”实现降本增效,单店年省高达30万?!

用友BIP

旅游数智化

浅谈AIGC对我们的深远影响及细节影响|社区征文

䑣舟

AI AIGC

三一集团产品负责人谢庚曦:AI重塑HR数智化的实现路径

用友BIP

智能招聘

数字货币交易所加密系统开发技术源码搭建

l8l259l3365

每日一题:LeetCode-62. 不同路径

Geek_4z9ami

Go 面试 算法 LeetCode 动态规划

笔记|关于心流、纯粹与专注

Lotus

个人成长 冥想 科技 心流 瑜伽

矩阵起源携手深智城入选中国信通院“星河”案例

MatrixOrigin

分布式数据库 云原生数据库 MatrixOrigin MatrixOne HTAP数据库

美图海量短视频内容分析与检索(二)_文化 & 方法_声网_InfoQ精选文章