【AICon】探索八个行业创新案例,教你在教育、金融、医疗、法律等领域实践大模型技术! >>> 了解详情
写点什么

轻松上手 UAI-Train,拍拍贷人脸识别算法优化效率提升 85.7%

  • 2019-11-11
  • 本文字数:1788 字

    阅读完需:约 6 分钟

轻松上手UAI-Train,拍拍贷人脸识别算法优化效率提升85.7%

“UAI-Train 平台可以让我们方便地在短时内使用大量的 GPU 资源,用较低的成本训练海量的数据集,提高算法模型迭代优化的效率。”

— 拍拍贷算法研究员 朱运

UAI-Train 是什么

UAI-Train 是面向 AI 训练任务的大规模分布式计算平台,基于 P40、V100 等 GPU 云主机集群,通过分布式扩展,最高可实现 192TFlops 的单精度计算能力。提供一站式训练任务托管服务,可自动化解决计算节点调度、训练环境准备、数据上传下载以及任务容灾等问题,并支持按需收费、成本可控,无需担心资源浪费。在视频图像识别、自然语言处理、语音处理等领域均已有诸多实践。

拍拍贷接入 UAI-Train 的效果

通过使用分布式 GPU 训练平台,700W 人脸数据的模型训练所需时长可从原先的一周缩短至一天,整体算法优化效率提升 85.7%,相应的迭代频率也提高数倍,为更深层次的模型结构试验提供了可能。同时 UAI-Train 平台备有大量 GPU 资源,拍拍贷的算法工程师可以同时探索多种算法模型结构,极大缩短初期算法结构探索的时间。最重要的是 UAI-Train 平台具备按需收费的特性,拍拍贷人脸识别算法的 GPU 资源成本可由原先的上万元/月,下降至数千元/月,GPU 资源的有效利用率也达到了 100%。



表:UAI-Train 与购买 GPU 资源的特性对比

关于拍拍贷

拍拍贷是一家行业领先的金融科技公司,同时也是一家非常注重技术驱动、强调自主研发的高科技公司。一直以来非常重视 AI 技术的探索和应用,涉及到计算机视觉、语音分析和建模、自然语言处理、复杂网络分析等针对特定非结构化数据的领域,并将迁移学习、主动学习、强化学习、多任务学习、在线学习、非监督半监督等各种机器学习算法应用至多种业务场景。尤其是人脸识别、OCR、不良中介识别和欺诈团伙挖掘、智能对话机器人、社交文本挖掘等项目,在实际的业务实践中取得了不俗的效果,极大地提升了风险反欺诈水平和运营效率。

人脸识别

人脸识别是拍拍贷 AI 技术的一个重要研究方向,它通过算法识别人的脸部特征,从而可以做到实时地从图片或者视频流中检测和追踪特定的人。


目前拍拍贷自研人脸识别算法,在 700W 规模多年龄段、多姿态、多表情、多环境的人脸图片上进行训练。通过尝试不同的网络结构,包含 Inception-v3、优化后的 resnet 等,以及多种损失函数,例如 triplet_loss、sphere、cosine、arc_loss 等来优化人脸识别算法,从而提升 1:1 人脸认证、1:N 人脸搜索、N:N 人脸交叉比对、人脸聚类等场景的识别精度,并将此类技术应用于拍拍贷的风险监控、反欺诈等业务,并发挥了重要作用。



图:人脸识别业务场景

面临的问题

算法人员在优化人脸识别算法的过程中发现使用单台 GPU 机器迭代一次算法需要一周左右的时间,效率过低影响研发进度,但是采购更多的 GPU 机器来探索不同算法会导致资源成本线性增长;此外由于算法调优工作涉及诸多研究内容,例如算法效果分析、新算法调研、开发等,实际的资源使用率不高。

接触 UAI-Train

在一次线下技术交流活动中,拍拍贷技术人员了解到 UCloud 提供一种面向人工智能算法训练的 UAI-Train 平台,并支持 GPU 资源的按需租售服务,同时该平台上还可执行多机多卡的分布式训练任务。


为了提升模型训练的效率,充分高效地利用更多的新数据来进一步提高其准确率,拍拍贷抉择后选择尝试 UAI-Train 平台。UCloud AI 团队在 GitHub 上发布了适配 UAI-Train 平台的 Insightface 开发案例,用于协助拍拍贷的算法工程师很方便地将单机的人脸识别算法转化成支持分布式训练的人脸识别算法,并成功在 UAI-Train 平台上进行算法的快速优化。


Insightface 是 GitHub 上一个基于 MXNet 框架的开源人脸识别项目。UCloud 基于 insightface 开发了一整套能支持分布式训练的人脸识别训练和在线推理的案例代码,并发布在GitHub上,其中包括基于 MXNet 框架的代码及开发案例。拍拍贷的工程师基于该案例,结合自身人脸识别算法的实现和数据,一周时间内就完成了开发和调试,并顺利在 UAI-Train 平台上逐步展开人脸识别算法的训练迭代工作。



图:人脸识别算法接入过程


在多次算法优化迭代尝试后,拍拍贷通过利用高维向量表征人脸,余弦距离表达相似度,最终在开源测试集准确率表现为:lfw 99.8%, cfp_fp 97%, agedb_30 98.2% ,实际业务应用中的准确率高达 99%以上,进一步提升了风险监管、反欺诈等业务的效率。


本文转载自公众号 UCloud 技术(ID:ucloud_tech)。


原文链接:


https://mp.weixin.qq.com/s/I1Ts8R4_vHCTB6kOWNo3yQ


公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2019-11-11 10:39769

评论

发布
暂无评论
发现更多内容

react源码中的fiber架构

flyzz177

React

前端leetcde算法面试套路之双指针

js2030code

JavaScript LeetCode

有趣,在WSL2上运行VSCode

DisonTangor

vscode WSL2

会议总结 | 首次 Flink Batch 社区开发者会议

Apache Flink

大数据 flink 实时计算

保持热爱,奔赴山海:Apache Calcite PMC 之路

字节跳动开源

flink 开源 技术 社区 Apache Calcite

ChatGPT背后:从0到1,OpenAI的创立之路

OneFlow

人工智能 深度学习 openai ChatGPT

RabbitMQ的高可用和高可靠

做梦都在改BUG

Java 高可用 RabbitMQ 消息中间件

比较简单的ChatGPT体验攻略!

没有用户名丶

用javascript分类刷leetcode22.字典树(图文视频讲解)

js2030code

JavaScript LeetCode

时代背景下的 ChatGPT,到底能帮助开发者做什么呢?

泰罗凹凸曼

JavaScript ChatGPT

大咖说·阿里云云效|效能治标不治本的三个陷阱的解析

大咖说

开心档之Bootstrap4 自定义表单

雪奈椰子

bootstrap 开心档

Cadence Allegro如何通过Excel表格创建元器件?

华秋PCB

科普 硬件 元器件

大咖齐聚!OpenHarmony技术峰会豪华嘉宾阵容揭晓

OpenHarmony开发者

OpenHarmony

前端leetcde算法面试套路之二叉树

js2030code

JavaScript LeetCode

通过 Istio、eBPF 和 RSocket Broker 深入探索服务网格

Kian.Lee

istio cncf ebpf sidecar-free rsocket

ChatGPT搜索与推荐之间的匹配问题

图灵社区

搜索引擎 深度学习‘’ ChatGPT

数仓专家面对面 | 为什么我选择GaussDB(DWS)

华为云开发者联盟

数据库 后端 华为云 企业号 2 月 PK 榜 华为云开发者联盟

Apache Flink 实时计算在美的多业务场景下的应用与实践

Apache Flink

大数据 flink 实时计算

ChatGPT搜索与推荐之间的匹配问题

图灵教育

搜索引擎 深度学习‘’ ChatGPT

复旦发布国内首个类ChatGPT模型MOSS,和《流浪地球》有关?

这我可不懂

C#/VB.NET 如何在 Word 文档中添加页眉和页脚

在下毛毛雨

C# .net word文档 页眉页脚

ChatGPT能做什么?(内附体验攻略)

FinFish

AI工程化 ChatGPT

Teradata 离场,企业数据分析平台如何应对变革?

Kyligence

数据分析 指标中台

ThreadPoolExecutor源码细节探索

做梦都在改BUG

Java 多线程 线程池 ThreadPoolExecutor

直播预告 | 嵌入式BI如何将数据分析真正融入业务流程

葡萄城技术团队

流批一体架构在快手的实践和思考

Apache Flink

大数据 flink 实时计算

SpringBoot与Loki的那些事

做梦都在改BUG

Java Spring Boot 框架

GitHub典藏版!腾讯T14级牛人亲码的分布式数据库实践,再次爆火

做梦都在改BUG

Java 数据库 分布式

ChatGPT会对开发领域有何影响?

FinFish

AI AIGC ChatGPT

横空出世!IDEA 版 API 接口神器来了,一键生成文档!

Liam

Java 后端 IDEA Java 分布式 API文档

轻松上手UAI-Train,拍拍贷人脸识别算法优化效率提升85.7%_文化 & 方法_UCloud技术_InfoQ精选文章