GPU在联邦机器学习中的探索

2019 年 12 月 24 日

GPU在联邦机器学习中的探索

2019年12月16日-19日,英伟达GPU技术大会(GTC 2019,以下简称“大会”)在苏州金鸡湖国际会议中心举行,来自Amazon、FaceBook、腾讯、平安等诸多国内外企业机构的专家学者汇聚一堂,就人工智能、深度学习、医疗科学、智慧金融、边缘计算等领域展开深度讨论。微众银行AI团队于19日在【智慧金融】分会场上联合星云Clustar发表了《GPU在联邦机器学习中的探索》主题演讲,详细介绍了其GPU加速联邦学习的研究成果。



伴随着计算力、算法和数据量的巨大进步,人工智能迎来第三次发展高潮,开始了各行业的落地探索。然而,在“大数据”兴起的同时,数据分散的情况也越发明显,“数据孤岛”现象广泛存在。随着政策法规的逐渐完善和公众隐私保护意识的加强,隐私安全、数据保护等原因限制着数据不能轻易互通,如何在保护数据隐私的前提下实现行业协作与协同治理,是大数据时代人工智能行业应用的一大难题。


联邦学习破解“数据孤岛”难题


“联邦学习”(Federated Learning)指的是在满足隐私保护和数据安全的前提下,设计一个机器学习框架,使各个机构在不交换数据的情况下进行协作,提升机器学习的效果。其核心就是解决数据孤岛和数据隐私保护的问题,通过建立一个数据“联邦”,让参与各方都获益,推动技术整体持续进步。大会上,来自微众银行 AI 部门的高级算法工程师黄启军也为观众展示了联邦学习的落地案例之一——视觉横向联邦学习系统。


黄启军提到,在目标检测领域,已标注数据是非常珍贵的资源,各家公司一般都有各自不同场景的标注数据,但这些数据相对散乱,如想利用其它公司已标注好的数据模型来建立更优模型,只能通过拷贝聚拢数据,但这种行为不符合 GDPR、《数据安全管理办法》等法律规范。而引入横向联邦学习机制以后,个体可以在本地设备中直接标注数据,无需上传。本地模型的训练数据标注完成后,客户端将自动加入联邦,等待进行训练,当有两台设备进入到等待训练状态时,则开始进行联邦学习训练模式。



视觉横向联邦学习系统示意


这一案例真实展现了联邦学习技术的价值,相比于单点模型,联邦学习使得本地设备的 mAP 大幅提升,同时 Lossless 更加稳定。mAP 平均提升 15%的数据显示,整体上联邦学习远比单点模型效果更佳。


GPU 加速联邦学习升级


作为一门具有前景的新兴技术,联邦学习为了完成隐私保护下的机器学习,使用了很多与传统机器学习不一样的方法,也因此迎来了诸多新挑战。在会上,黄启军也分享了微众银行 AI 部门携手星云 Clustar 突破的联邦学习计算三大难题:


首先就是大整数运算问题,传统机器学习一般使用的是 32-bit 的基本运算,这些基本运算一般都有芯片指令的直接支持,而联邦学习中的 Paillier/RSA 算法依赖的是 1024 或 2048-bit 甚至更长的大整数运算,但现实情况是,GPU 流处理器并不直接支持大整数运算。面对这一情况,双方基于分治思想做元素级并行,通过递归将大整数乘法分解成可并行计算的小整数乘法,从而实现“化繁为简”,间接完成 GPU 流处理器的大整数运算。



通过递归将大整数乘法分解成可并行计算的小整数乘法示意


其次,大整数运算中多是模幂、模乘等复杂运算,即 ab mod c (a,b,c 均为 N 比特大整数),而 GPU 做模幂等运算的代价极大,传统的朴素算法会优先计算 ab,再计算值对 c 取模,这一算法的缺点是复杂度高达 O(2^N),且中间乘积结果很大。而单一的平方乘算法则是通过 ak = (ak/2)2 = ((ak/4)2)2 实现,虽然复杂度下降至 O(N),且中间结果大小不超过 c,但因为需要做 2N 次取模运算,GPU 在此项上花费时间极高。而双方摘取平方乘算法优势,并加入蒙哥马利模乘算法计算模乘,就完全避免了取模运算,大幅度降低了 GPU 的消耗。


最后,在分布式计算时,联邦学习不止涉及数据中心内网传输,也有广域网传输的场景,且密文数据体积要增加几十倍,传输的次数也是传统机器学习的几倍,双方通过 RDMA 网络技术加上自研的动态参数聚合模型技术以及机器学习专业的网络传输协议,对联邦学习在数据中心内通信场景以及跨广域网通信场景都进行了很好的性能优化。


联邦学习推动 AI 行业变革


联邦学习近年来在学术研究、标准制定和行业落地等方面发展迅速,有望成为下一代人工智能协同算法和协作网络的基础,全球范围内也正在掀起“联邦学习”的热潮。从 GPU 加速联邦学习这样的底层技术研究,到 IJCAI 2019 首届联邦学习国际研讨会等学术交流,再到 IEEE 标准制定推动行业规范化,联邦学习在人工智能领域渐露峥嵘,在该领域的影响力显著提升。而在工具层面,也有诸多企业机构开展研发,如微众银行 AI 团队开源的全球首个工业级的联邦学习技术框架 Federated AI Technology Enabler(FATE),不仅提供一系列开箱即用的联邦学习算法,更重要的是给开发者提供了实现联邦学习算法和系统的范本,使大部分传统算法可以经过改造适配到联邦学习框架中,从而快速加入联邦生态。


此外,在行业应用落地方面,联邦学习也扇动了一股“变革”的飓风:在金融领域,基于该技术的多家机构联合风控模型能更准确地识别信贷风险,联合反欺诈。多家银行建立的联邦反洗钱模型,能解决该领域样本少、数据质量低问题,在微众银行的实践中 AUC 显著提升 12%。


在智慧零售领域,该技术能有效提升信息和资源匹配的效率。例如,银行拥有用户购买能力的特征,社交平台拥有用户个人偏好特征,电商平台则拥有产品特点的特征,联邦学习能在保护三方数据隐私的基础上进行联合建模,为用户提供更精准的产品推荐等服务,从而打破数据壁垒,构建跨领域合作,经应用实践,采购备货准确率提升可达 21.4%。


联邦学习是大数据使用的未来范式,也是破解数据隐私保护难题的新思路。人工智能不仅是一个工具,更应该是让社会更加公平美好的强大推动力。联邦学习势必将在未来助力更多行业、更多场景发挥无限潜能,推动 AI 普惠的实现。而作为致力于在全球范围内引领和推动数据隐私保护下的 AI 协作生态建设的微众银行 AI 团队,也必将与诸多企业机构一起,共建行业更美好的未来。


2019 年 12 月 24 日 16:501297

评论

发布
暂无评论
发现更多内容

四、应用系统探讨

Geek_28b526

架构师训练营 - 第 8 周课后作业(1 期)

阿甘

“懂行”的价值循环与蝴蝶风暴

脑极体

高交会:高新企业源中瑞在此出展区块链BAAS技术

WX13823153201

架构师训练营 第四周作业

文江

第八周总结

alpha

极客大学架构师训练营

腾讯强推Redis大神之路成长手册!原理+应用+集群+拓展+源码五篇齐飞

Java架构追梦

Java 数据库 redis 架构 面试

极客时间架构师培训 1 期 - 第 8 周作业

Kaven

第八周课后练习

高兵

脱钩!打工人不配拥有Java程序员306道面试秘笈吗?真香

996小迁

Java 学习 架构 面试 笔记

架构师训练营 week4 学习总结

花果山

极客大学架构师训练营

Architecture Phase1 Week8:Summarize

phylony-lu

极客大学架构师训练营

训练营第四周作业

大脸猫

极客大学架构师训练营

高交会:高新企业源中瑞在此出展区块链BAAS技术

13530558032

网络时间协议介绍以及服务器同步网络时间

MySQL从删库到跑路

ntp 时间同步

“区块链+营销”:科技力量助力行业前行

CECBC区块链专委会

市场营销

苏州崛起为我国区块链产业高地

CECBC区块链专委会

区块链 社区矫正

年轻人的第一个MyBatis项目就要这样来学习,不走弯路

小Q

Java 学习 架构 面试 mybatis

架构作业--相交链表

Nick~毓

Java8引入新的日期和时间库,你应该知道

Silently9527

java8

成为架构师 - 架构师训练营第 04周

陈永龙Vincent

LeetCode题解:169. 多数元素,哈希表,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

《身边的金钱心理学》

石云升

第四周作业

Jack

架构师训练营 week4 课后作业

花果山

极客大学架构师训练营

训练营第四周总结

大脸猫

极客大学架构师训练营

【Mycat】Mycat核心开发者带你轻松掌握Mycat路由转发!!

冰河

分布式 微服务 分库分表 中间件 mycat

分分钟玩转SpringBoot自定义注解

比伯

Java 大数据 编程 架构 编程语言

区块链治理的真实价值在哪里

CECBC区块链专委会

区块链 治理 治理机制

ebay支付核心账务系统架构演进之路

贾奇 (Jacky)

支付系统 共识机制 系统稳定高可用 Event Sourcing 异地多活容灾

家谱链亮相高交会,点亮“区块链+文化”融合发展之路

13530558032

GPU在联邦机器学习中的探索-InfoQ