写点什么

专访季虎:如何突破瓶颈构建高质量风控系统?

  • 2015-12-08
  • 本文字数:3143 字

    阅读完需:约 10 分钟

互联网的开放性极大地促进了互联网产业的发展,也给人们的生活带来了诸多便利。然而,随之而来的高风险性 - 账号盗用、虚假交易、金融欺诈等 - 也让大家闻之色变。在当今互联网 + 的时代,如何构建强劲的风险控制系统,保障交易、信用、资金等的安全,是任何一个从事互联网业务公司的头等大事。

为此,我们采访了苏宁 IT 总部安全研发技术总监,请他为读者们介绍互联网安全架构的个中精要以及苏宁安全团队在应对“11.11”等大规模活动时的努力。

受访嘉宾

季虎,苏宁 IT 总部安全研发技术总监,主导构建了苏宁电商和金融的风控技术体系。在此之前,季虎曾任阿里集团安全部高级技术专家,参与了 AE、金融和集团的风控系统建设,并致力推进风控自动化和大数据风控实践。其将在 ArchSummit 北京 2015 全球架构师峰会分享《简单的不像技术活——风险检测中的时间窗口计算》

互联网 + 大数据时代,安全领域也越来越多的引入实时的风险识别技术,风险特征(值)计算是实时性和海量数据下的扩展性是很多风险识别系统的难点。业务安全领域,已经在这点上做了很多年的尝试和研究,这次分享从风险检测的过程分析、时间窗口统计的需求场景和各种实现等角度切入,介绍多种场景的风险特征(值)计算以及尝试性解决通用问题的框架,让参会人员了解时间窗口统计的多种技术方案和技巧、如何快速构建业务风控系统等。

精彩内容敬请期待,以下是 InfoQ 记者对苏宁 IT 总部安全研发技术总监季虎的专访:

InfoQ:季虎你好,请给我们介绍一下业界有哪些常见的风险行为及识别技术吧。

季虎:在电商这一块,常见的风险行为包括垃圾账号注册、账号盗用、虚假交易、盗卡、广告的点击欺诈,信用炒作、DDOS 攻击等等,这些是行为方面的风险。我们用到的识别技术有基于用户行为,作特征分析,辅助以大数据模型,构建用户画像;有利用统计模型和规则引擎作事中控制的;甚至还会对用户做主动探测。

在苏宁,风控还包括了内容合规,比如色情,暴力等,也包括版权方面的事情,需要确保开放平台商户不能销售违反国家法律法规的商品,也有用户会发表违禁的评价等等。这里面用到的技术会有自然语言识别,图像识别,这些都依赖机器学习的技术; 此外,不同的行业也会有些特有的风险类型,如游戏,会遇到挂机的问题,P2P 会有征信方面的需求,也各有不同的识别方法。

InfoQ:风控的技术门槛在哪?业界是否有一些开源系统可以使用?

季虎:风控最大的难点在于它跟具体的业务模式息息相关,很难有一个通用的方法。就以黄牛抢购爆款来说,仅抢购的业务形态就有很多,比如秒杀,预约等等,多样性对系统的架构是一个挑战;另一个难点(对电商),事中的风险识别是用户体验最好的,这就在性能上有很高的要求。以苏宁为例,下单过程中的风控识别的时间只留了 50ms,这对性能有很高的挑战。

如果是从头搭建一个新的风控系统,初期可以选择开源的规则引擎(drools 等)做二次开发,后期按照实际情况再作调整。

InfoQ:通常在业务场景中风控系统采用什么样的指标进行评估,如何评价一个风控系统的优劣?

季虎:风控系统的评估,跟大多数的后端系统评估没太多差别,具体包括:灵活性,体现在一个新业务上线,一个新规则的变更,一个新模型的调整,要多久,投入多少人力;性能,是不是满足业务需要;易用性,风控系统跟业务结合紧密,能不能支撑业务需求的变更;还有一个重要的指标 - 效果,不同的业务形态,评估指标不同,可能是资损,可能是坏账率等,通过数据来说话。

InfoQ:风控计算会不会带来很大的额外计算压力?在苏宁,我们采用什么样的技术手段来降低风控计算对业务的影响?

季虎:这个必须会!风控系统内部称这为指标计算。压力主要在两方面,一个是 CPU(GPU),一个是内存;具体的手段有不少,在马上召开的 ArchSummit 大会上我会分享一些具体的例子, 到时候大家可以一听。

大致的思路有两个方向:一是预先处理,另一个就是保证计算尽量在内存中进行,根据计算的类型,把计算拆分成多个阶段,以均值为例,M(n)=((n-1)×M(n-1)+M(n))/n,这样计算形式的转换,把求均值变成可以累加计算,一部分预先处理好(可以离线处理),这样风控系统中的计算量就尽可能的减少。不能拆分的计算类型,就尽可能把数据预先加载到内存中,我们曾经在一个信用卡盗卡的模型中使用过单机 250G 以上内存容量的服务器。另外还有一个小技巧,根据实际的模型设计,可以考虑降低计算精度,一些特殊的数据结构可以做到计算精度降低 1 个点,需要的计算量降低 10,甚至更多。这是些简单逻辑运算,更复杂的,如矩阵运算,我们采用高性能 GPU 代替通用 CPU,图像识别是典型场景。

上面说的是提高计算能力的方法,此外,还需要考虑把指标计算的部分独立出来做成微服务。这样既可以降低与规则引擎系统和模型的耦合性,也能更好的在系统之间共享风险指标。

InfoQ:对于初创公司来说,如果公司需要构建自己风控系统,有哪些因素需要特别考虑?

季虎:优先组建业务风控团队,优先组建业务风控团队,优先组建业务风控团队,重要的事说三遍。

回到系统本身,有一些个人体会可以分享下:

1)初期就要考虑的数据沉淀和再利用。风险判断的准确性要么看规则的合理性,要么看模型的准确性,这两个都需要数据支撑进行评价和改良。

2)系统要提供效果评估评价的功能。他的点只关系到系统能不能做好,这个关系到风控业务能不能做好。

3)不要过度追求规则和模型的灵活性,适当降低架构设计的目标设定,灵活性是个无底洞。

4)风控系统只是辅助决策系统,不要串联到业务流程中,要旁路。

InfoQ:从苏宁的风控系统实践的经验来说,风控系统架构的瓶颈会在什么地方?

季虎:主要可能有三个方面:

1)第一个会遇到的瓶颈,都是灵活性。实际上,我参与过的风控系统建设,都会经常性做重构,基本上一年一版。我们做得好的地方在于,设计的时候采用了微服务化的思路,重构的时候不需要全盘推到重来。最近一次重构,重构了模型部分–因为 spark 等技术的发展,性能上已经满足实时需求,我们就仅仅重构了这个部分。其他的如风险指标的计算,处罚等服务,可以维持原样。

2)活动期间的性能问题,一般系统的性能冗余留一倍就差不多了,但是风控不行,我们活动期间的容量需求是平时的几十倍左右,方便的 scale out 是必须的,这点苏宁的私有云技术提供了很好的技术支撑。在 11.11 等活动期间,我们能做到一键扩容,动态资源回收。PS:真不是替苏宁云打广告,私有云方面,整个业界苏宁应该是走在前列的。

3)离线模型的支持,要保证线上线下数据一致性,这在架构设计上有一定难度,netflix 定义的 online,nearline 和 offline 的三线协作模型是很好的参考。

InfoQ:随着业务的飞速发展,你认为风控系统的下一步发展方向将是?

季虎:从两个维度说说我的认识,从风控系统本身来看,自动化应该是一个很重要的需求,自动训练,学习,评估,我们也正在作深度学习方面的探索,特别是无监督学习的尝试;在整个行业的高度看,就要借用我前同事的一个词语“联防联控”,通过云的方式,交付风控的技术能力,并达到整个行业的能力共享。

12 月 18-19 日举办的 ArchSummit 北京 2015“信息安全保障最佳实践”专题中除了季虎的精彩分享外,还有来自腾讯云安全技术副总监刘宁、阿里巴巴 PE 核心架构组专家李振宇、百度运维部资深研发工程师欧阳君沛的精彩分享,专题精彩日程提前看:

演讲议题 演讲嘉宾 《从甲方到乙方—腾讯云安全实践之路》 腾讯云安全技术副总监 刘宁 《简单的不像技术活—风险检测中的时间窗口计算》 苏宁 IT 总部安全研发技术总监 季虎 《百度超大规模分布式安全系统实践》 百度运维部资深研发工程师 欧阳君沛 《让用户数据更安全—淘宝、天猫全网 HTTPS 实践》 阿里巴巴 PE 核心架构组专家 李振宇 ArchSummit 讲师邀约完毕,想了解更多精彩日程,请关注 ArchSummit 大会官网

2015-12-08 19:146941

评论

发布
暂无评论
发现更多内容

Android 一行代码接入 扫码 生成码

Java android kotlin zxing camera

【性能优化】纳尼?内存又溢出了?!是时候总结一波了!!

冰河

性能优化 内存泄露 高并发 高性能 内存溢出

《Java Web企业项目实战》.pdf

田维常

电子书

深入理解Java虚拟机第三版,通俗易懂,大牛带你轻松搞懂JVM性能调优

Java架构之路

Java 程序员 架构 面试 编程语言

配置企业管理系统,什么样的工作流才有用

雯雯写代码

工作流 企业管理系统

直播预告 | 应用加固防破解,4.1折就够了

蚂蚁集团移动开发平台 mPaaS

安全攻防 App风险 mPaaS

银行数字化转型:需建立起以体验为核心、数据为基础、技术为驱动的架构体系

CECBC

银行 数字经济

还在为算法烦恼?那你应该还没看过这份Git上70k标星的笔记

Java架构师迁哥

书写高质量SQL的30条建议

诸葛小猿

MySQL SQL优化

天源迪科受邀出席“第四届央企电商化采购发展高峰论坛"

DT极客

Dubbo-go Server端开启服务过程

apache/dubbo-go

dubbo dubbo-go dubbogo

Week 7 命题作业

阿泰

《MySQL开发者SQL权威指南》.pdf

田维常

电子书

Nginx-技术专题-入门教程

码界西柚

架构师训练营第一期 - week7

习习

区块链+能源 大放异彩

CECBC

区块链 能源

架构师第一期作业(第 7 周)

Cheer

课程作业

high-performance-tidb-challenge 记录

程序员老王

大数据处理黑科技:揭秘PB级数仓GaussDB(DWS) 并行计算技术

华为云开发者联盟

数据库 并行算子 计算

《人人都是架构师:分布式系统架构落地与瓶颈突破》.pdf

田维常

电子书

《Python源码剖析》.pdf

田维常

电子书

阿里云视频云技术专家 LVS 演讲全文:《“云端一体”的智能媒体生产制作演进之路》

阿里云CloudImagine

媒体 音视频

「混合云」会是云计算的下一个战场吗?

ToB行业头条

阿里云

DDIA 读书笔记(5)数据分区方案

莫黎

读书笔记

Week 5命题作业

balsamspear

极客大学架构师训练营

聆听无声的话语:手把手教你用ModelArts实现手语识别

华为云开发者联盟

AI 图像识别 手语

面试大厂被算法难倒惨遭滑铁卢?这份字节内部大佬整理的《数据结构与算法》学习笔记你一定要看看!

Java架构之路

Java 程序员 架构 面试 编程语言

甲方日常 45

句子

工作 随笔杂谈 日常

在深夜加油站遇见哈利波特

脑极体

央行数字货币为人民币国际化之路提供推动力

CECBC

数字货币

darknet A版安装

Dreamer

专访季虎:如何突破瓶颈构建高质量风控系统?_语言 & 开发_龙永昕_InfoQ精选文章