阿里、蚂蚁、晟腾、中科加禾精彩分享 AI 基础设施洞见,现购票可享受 9 折优惠 |AICon 了解详情
写点什么

轻松上手 UAI-Train,拍拍贷人脸识别算法优化效率提升 85.7%

  • 2019-11-11
  • 本文字数:1788 字

    阅读完需:约 6 分钟

轻松上手UAI-Train,拍拍贷人脸识别算法优化效率提升85.7%

“UAI-Train 平台可以让我们方便地在短时内使用大量的 GPU 资源,用较低的成本训练海量的数据集,提高算法模型迭代优化的效率。”

— 拍拍贷算法研究员 朱运

UAI-Train 是什么

UAI-Train 是面向 AI 训练任务的大规模分布式计算平台,基于 P40、V100 等 GPU 云主机集群,通过分布式扩展,最高可实现 192TFlops 的单精度计算能力。提供一站式训练任务托管服务,可自动化解决计算节点调度、训练环境准备、数据上传下载以及任务容灾等问题,并支持按需收费、成本可控,无需担心资源浪费。在视频图像识别、自然语言处理、语音处理等领域均已有诸多实践。

拍拍贷接入 UAI-Train 的效果

通过使用分布式 GPU 训练平台,700W 人脸数据的模型训练所需时长可从原先的一周缩短至一天,整体算法优化效率提升 85.7%,相应的迭代频率也提高数倍,为更深层次的模型结构试验提供了可能。同时 UAI-Train 平台备有大量 GPU 资源,拍拍贷的算法工程师可以同时探索多种算法模型结构,极大缩短初期算法结构探索的时间。最重要的是 UAI-Train 平台具备按需收费的特性,拍拍贷人脸识别算法的 GPU 资源成本可由原先的上万元/月,下降至数千元/月,GPU 资源的有效利用率也达到了 100%。



表:UAI-Train 与购买 GPU 资源的特性对比

关于拍拍贷

拍拍贷是一家行业领先的金融科技公司,同时也是一家非常注重技术驱动、强调自主研发的高科技公司。一直以来非常重视 AI 技术的探索和应用,涉及到计算机视觉、语音分析和建模、自然语言处理、复杂网络分析等针对特定非结构化数据的领域,并将迁移学习、主动学习、强化学习、多任务学习、在线学习、非监督半监督等各种机器学习算法应用至多种业务场景。尤其是人脸识别、OCR、不良中介识别和欺诈团伙挖掘、智能对话机器人、社交文本挖掘等项目,在实际的业务实践中取得了不俗的效果,极大地提升了风险反欺诈水平和运营效率。

人脸识别

人脸识别是拍拍贷 AI 技术的一个重要研究方向,它通过算法识别人的脸部特征,从而可以做到实时地从图片或者视频流中检测和追踪特定的人。


目前拍拍贷自研人脸识别算法,在 700W 规模多年龄段、多姿态、多表情、多环境的人脸图片上进行训练。通过尝试不同的网络结构,包含 Inception-v3、优化后的 resnet 等,以及多种损失函数,例如 triplet_loss、sphere、cosine、arc_loss 等来优化人脸识别算法,从而提升 1:1 人脸认证、1:N 人脸搜索、N:N 人脸交叉比对、人脸聚类等场景的识别精度,并将此类技术应用于拍拍贷的风险监控、反欺诈等业务,并发挥了重要作用。



图:人脸识别业务场景

面临的问题

算法人员在优化人脸识别算法的过程中发现使用单台 GPU 机器迭代一次算法需要一周左右的时间,效率过低影响研发进度,但是采购更多的 GPU 机器来探索不同算法会导致资源成本线性增长;此外由于算法调优工作涉及诸多研究内容,例如算法效果分析、新算法调研、开发等,实际的资源使用率不高。

接触 UAI-Train

在一次线下技术交流活动中,拍拍贷技术人员了解到 UCloud 提供一种面向人工智能算法训练的 UAI-Train 平台,并支持 GPU 资源的按需租售服务,同时该平台上还可执行多机多卡的分布式训练任务。


为了提升模型训练的效率,充分高效地利用更多的新数据来进一步提高其准确率,拍拍贷抉择后选择尝试 UAI-Train 平台。UCloud AI 团队在 GitHub 上发布了适配 UAI-Train 平台的 Insightface 开发案例,用于协助拍拍贷的算法工程师很方便地将单机的人脸识别算法转化成支持分布式训练的人脸识别算法,并成功在 UAI-Train 平台上进行算法的快速优化。


Insightface 是 GitHub 上一个基于 MXNet 框架的开源人脸识别项目。UCloud 基于 insightface 开发了一整套能支持分布式训练的人脸识别训练和在线推理的案例代码,并发布在GitHub上,其中包括基于 MXNet 框架的代码及开发案例。拍拍贷的工程师基于该案例,结合自身人脸识别算法的实现和数据,一周时间内就完成了开发和调试,并顺利在 UAI-Train 平台上逐步展开人脸识别算法的训练迭代工作。



图:人脸识别算法接入过程


在多次算法优化迭代尝试后,拍拍贷通过利用高维向量表征人脸,余弦距离表达相似度,最终在开源测试集准确率表现为:lfw 99.8%, cfp_fp 97%, agedb_30 98.2% ,实际业务应用中的准确率高达 99%以上,进一步提升了风险监管、反欺诈等业务的效率。


本文转载自公众号 UCloud 技术(ID:ucloud_tech)。


原文链接:


https://mp.weixin.qq.com/s/I1Ts8R4_vHCTB6kOWNo3yQ


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2019-11-11 10:39766

评论

发布
暂无评论
发现更多内容

属实不赖!Alibaba开源GitHub星标114K微服务架构全彩进阶手册

冉然学Java

Java 阿里巴巴 开源 微服务 微服务架构

开源 | WLock:高可用分布式锁设计实践

开源 分布式 分布式锁

Kotlin协程解析系列(上):协程调度与挂起

vivo互联网技术

kotlin 协程

最常见的 10种网络安全攻击类型

郑州埃文科技

网络安全 IP地址 网络攻击

干货!这份阿里P8大佬纯手打总结Kafka学习笔记,真是yyds

了不起的程序猿

Java kafka java程序员 消息中间件 Java 开发

以合规交易释放数据“红利”,合合信息旗下启信宝签约福建大数据交易所首批数商

合合技术团队

数据 峰会

一对一直播系统源码——多人语音聊天室

开源直播系统源码

直播系统源码 语音直播系统 一对一直播视频源码 一对一语音直播

测试开发【Mock 平台】09 开发:项目管理(五)搜索、删除和Table优化

MegaQi

测试平台开发教程 8月月更

DAPP和APP有哪些区别?多链跨链NFT铸造挖矿dapp系统开发技术原理分析

开发微hkkf5566

StarRocks 技术内幕 | 基于全局字典的极速字符串查询

StarRocks

数据库

一文详解特权访问管理(PAM)

SEAL安全

安全 访问权限 访问管理 特权访问

微服务性能分析|Pyroscope 在 Rainbond 上的实践分享

北京好雨科技有限公司

Kubernetes 微服务 云原生

SpringBoot 日志的各种使用姿势,你真的用对了吗?

程序知音

Java spring 程序员 springboot 后端技术

人手一套的K8S命令集合,它来了!

wljslmz

云计算 Kubernetes 容器 8月月更

《数字经济全景白皮书》银行业数字普惠金融发展与优化策略分析 发布

易观分析

金融 数字经济全景白皮书 易观分析

一文搞懂│mysql 中的备份恢复、分区分表、主从复制、读写分离

MySQL 高并发 经验分享 签约计划第三季 8月月更

基于RocksDB实现高可靠、低时延的MQTT数据持久化

EMQ映云科技

物联网 mqtt RocksDB emqx 8月月更

Java 泛型 T,E,K,V,,傻傻分不清?

TimeFriends

8月月更

寻找OpenHarmony「锦鲤」|万元豪礼+技术干货全是你的!

OpenHarmony开发者

OpenHarmony

35岁程序员危机,有何破解之法?

博文视点Broadview

增强分析在百度统计的实践

百度Geek说

数据库

Groovy语境下的Map

FunTester

为什么电商云产品需要 Assisted Service Module (ASM) 模块的支持

Jerry Wang

typescript 电商 SAP 8月月更 Storefront

用Rust编写的Linux内核GPU驱动程序,或将到来

非凸科技

Linux gpu rust 编程语言

推荐一款微软出品的开发神器,体验不输IDEA!(含参考资料和项目源码)

收到请回复

面试 springboot 应届生 金九银十 java项目实战分享

前端监控系列2 |聊聊 JS 错误监控那些事儿

字节跳动终端技术

APM 前端监控 火山引擎 JS错误

DBPack 数据库限流熔断功能发布说明

峨嵋闲散人

分布式事务 云原生 分库分表 dbmesh Database Mesh

多原则等于无原则,微服务识别方法究竟该怎么选?

老坛架构

架构 微服务

为什么不做APP而要做小程序

源字节1号

小程序开发

阿里大佬 推荐的 “ Spring Cloud Alibaba项目文档 ” 正式发布

冉然学Java

Java 微服务 Spring Cloud Alibaba

连流量染色都没有,你说要搞微服务?

得物技术

架构 微服务 云原生

轻松上手UAI-Train,拍拍贷人脸识别算法优化效率提升85.7%_文化 & 方法_UCloud技术_InfoQ精选文章