OceaBase开发者大会落地上海!4月20日共同探索数据库前沿趋势!报名戳 了解详情
写点什么

腾讯云 11·11:千亿订单背后的安全“暗战”

  • 2017-11-10
  • 本文字数:4094 字

    阅读完需:约 13 分钟

每年的电商大促,就像是一次次的系统检阅仪式,接受着来自用户、同行以及老板的审视。而在一次次订单量记录刷新,成交额飙出新高的同时,平台架构也在面临巨大的挑战,如页面打不开、服务不可用、优惠券被薅、网络被攻击、支付延迟等都有可能发生。那么针对这些问题,腾讯云是如何助力其电商客户解决?本文将从海量并发、安全性、用户体验几个方面,深入讲解腾讯云电商平台最佳实践方案。

另外,由 InfoQ 举办的 ArchSummit 全球架构师峰会即将于 12 月 8-11 日北京举行,大会与阿里巴巴合作策划了双 11 架构专场,并邀请了顶级技术专家担任出品人,设置了“新一代 DevOps”、“人工智能与业务应用”、“架构升级与优化”等 17 个热门话题,目前大会日程已出,欢迎前来讨论交流。

海量并发弹性扩容

回顾近年来的电商大促,最具特色的便是抢购、秒杀活动了,而这也使得 Web 访问量可能瞬间陡增十倍甚至是数十倍,对接入层、逻辑层的按需、实时、快速平行扩展能力提出了较高的要求,如选用传统的硬件设备搭建集群,会遇到成本高昂,运维繁琐等问题。

对于这些问题,可以采用负载均衡配合云监控、弹性伸缩(Auto Scaling)、消息队列、分布式缓存、分布式数据库等服务来解决。

  • 负载均衡服务:CLB 单集群的最大并发连接数超过 1.2 亿,可处理峰值 40Gbps 的流量,每秒处理包量为 600 万,负载均衡服务曾在历年的春节微信“抢红包”历练;
  • 弹性伸缩可以根据需求和策略,比如 CPU 利用率达到阀值,就自动扩容指定数量的云服务器,也可根据定时、周期或监控策略,相应地增加或减少 CVM 实例,并完成配置,保证业务平稳健康运行。

对于自建 IDC 的客户,则可以采用混合云的模式,以专线将腾讯云与其自建 IDC 连接起来,这样仅在公有云上部署其接入、逻辑、cache 层,就可充分复用公有云的 BGP 接入及弹性的能力。

腾讯云安全体系防御原理及过程分析

安全性对于电商平台来说,不仅仅在大促期间会一而再再而三地关注到,它更是一个日常话题,网站入口、支付等环节,都往往处于“高危”环境,来自于网络“黑客”及“黑产”团队的恶意攻击等,都有可能会导致网站核心业务不可用、运营投入的大量优惠券被“羊毛党”抢占,甚至给后台系统带来“致命”打击。

腾讯云今年推出了 AI 安全战略,以大数据和 AI 的算法为驱动,构建应用于安全领域的包括社交图谱分析、图像自动识别、自然语言处理、知识表达推理等 AI 通用能力,形成智能身份鉴定、威胁情报分析、异常流量检测、网络攻击溯源、人机行为识别、恶意图片识别、垃圾文本检测等 7 项技术应用。

这些能力通过多款产品,如业务安全(天御)、主机安全(云镜)、数据安全(数盾)、移动安全(乐固)、账号安全(祝融)、网站与流量安全、内容安全与风控安全,为客户提供安全保障。本次我们将重点放在电商客户最常遇到的网络安全和业务安全展开介绍。

网络安全检测系统及防御原理

BGP 高防(大禹)产品是腾讯云针对电商网站遭受大流量 DDoS 攻击时服务不可用的情况推出的增值服务,提供 300G 的防护服务并拥有 35 线的 BGP 线路,帮助客户全面应对 DDoS 攻击的挑战,同时改善客户的访问体验。


图:腾讯云 DDos 防护体系架构

BGP 高防攻击检测

对于 BGP 的高防攻击检测,腾讯云采用光棱镜物理分光来做 1:1 流量镜像,旁路 Netflow 检测镜像流量,不影响客户正常业务流向,检测后的镜像流量被丢弃。检测原理主要是基于流量建模分析客户 IP 的流量中是否存在攻击流量。

  • 对于清洗攻击,在检测到某个 IP 被攻击后,清洗集群向核心路由发布 BGP 牵引路由,将该 IP 的流量牵引至清洗集群防护。清洗后的干净流量,再通过 BGP 路由回注至核心路由,最终流至客户的云主机或通过转发集群流至客户在腾讯云外的机房。
  • 防护算法主要是基于 IP/TCP/UDP 协议的缺陷检测及 HTTP、HTTPS 报头的分析,不涉及、不查阅业务负载报文,防护系统对客户的业务数据完全无感知。
  • 云内客户通过高防包绑定需要防护的设备,来提升防护级别。
    • BGP 高防专区除了提供高防服务,还同时对腾讯云客户的公网 IP 提供基础防护
    • 业务部署在腾讯云的客户,可以将绑定高防包绑定至需要防护的设备,提升防护级别。

  • 云外客户通过高防 IP 牵引攻击流量,保护后端业务
    • 客户在腾讯云高防 IP 上配置业务转发规则;
    • 客户将高防 IP 作为业务 IP 对外发布;
    • 所有流量都先经过腾讯高防 IP,再转发到客户真实源站,攻击流量在高防机房被清洗。
    • 高防 IP 基于公网 IP 回源,在其他云或 IDC 机房的业务,都可以接入腾讯云高防 IP 的防护

网络安全防御实践

大禹是腾讯云 AI 安全战略的网站安全防御系统,大禹网站高防可抵御 SYN Flood、ACK Flood、UDP Flood、NTP Flood、SSDP Flood、DNS Flood、HTTP Flood、ICMP Flood、CC 等各类攻击。防护与腾讯安全大数据平台联动,实时更新防护策略库,有效防护新攻击手法。

  • DDos 防护:大禹 BGP 高防基于先进特征识别算法进行精确清洗,抵御 Syn Flood、ICMP Flood 等各种大流量攻击。业务接入大禹 BGP 高防后,该功能自动开启,无论是 SYN Flood、UDP Flood 还是其他类型的大流量攻击,大禹 BGP 高防系统单节点能够防御 300Gbps 攻击。
  • CC 防护:大禹 BGP 高防通过模式识别、身份识别等多种手段,来识别恶意访问者,同时采用重认证、验证码、访问控制等手段,抵御 http get 等各类应用层攻击。恶意竞争者和黑产从业者将无法通过应用层攻击威胁到客户的业务服务器。

腾讯目前通过自建骨干网的 CAP 平台,BGP 链路对接了 35 家运营商,其中包括中国电信、中国联通、中国移动、中国教育和科研计算机网、中国科技网 5 家运营商。其余为中小运营商,包括:鹏博士、长宽以及各地广电等宽带接入服务商。

腾讯云业务安全防御框架深度解析

“羊毛党”双十一刷单流程

“羊毛党”其实早已经从个体行为、小作坊发展成了产业链,他们往往有着明确的分工,已形成几大团伙。下图为电商刷单团队的工作模式和任务分工。


图:电商刷单团队的工作流程

具体操作方式:

1. 软件制作团伙:专门制作各种自动、半自动的黑产工具,比如注册自动机、刷单自动机等;他们主要靠出售各种黑产工具、提供升级服务等形式来获利。

2. 短信代接平台:实现手机短信的自动收发。这其中,有一些短信平台是亦正亦邪,不但提供给正常的商家使用,一些黑产也会购买相关的服务。

3. 账号出售团伙:他们主要是大量注册各种账号,通过转卖账号来获利;该团伙与刷单团伙往往属于同一团伙。

4. 刷单团伙:到各种电商平台刷单,获取优惠,并且通过第三方的电商平台出售优惠,实现套现。

腾讯云天御系统安全监测方案

腾讯天御产品通过腾讯积累的安全大数据和防刷引擎,精准识别“薅羊毛”的恶意行为,避免企业被刷带来的巨大经济损失。其防御过程大概如下:

1. 通过天御防刷,判定请求流量是否为恶意(API 实时接口);

2. 之后,天御结果 200 毫秒内返回,厂商可根据返回的风险值(level),共计 5 个档位做合适的处理:

3. 若厂商需要做精细化运营,或者希望对某种异常标签做针对性的打击。可参考 risktype 返回的标签。通常根据风险值(level)做处理已足够。在风险值 level 不为 0 的情况下,risktype 可任意组合(根据命中异常的标签实际情况)。

风险防御处理案例解析

以下为某厂商根据天御返回的风险值(level)进行处理的实际案例:

基于输入参数的实时分析系统,确保每次请求都实时评估判定:

  • 传统黑名单机制,极易造成用户投诉。比如手机重放号、账号被盗后找回等,因历史作恶判定为黑而永久黑;
  • 天御的实时判定服务,确保在不同的环境(如 IP)下,实时关联数据亦不相同。所以每次请求,即使是同一个账号,亦会做出公允的评判
  • 天御实时模型,在大量业务中学习和训练。这是整个服务的核心引擎,确保高可用高覆盖

创新玩法,提升用户体验

除了基础稳定性、安全性的保障,越来越多的电商平台,也在寻找新的模式、新的玩法,来提升自身平台的用户体验,提升转化率。腾讯云就现金电商平台的业务需求,总结了以下三大创新应用:

  • 智能推荐,是最普适的一个诉求,面对不同的用户,根据客户的特征、喜好,展现不同的商品,一来可以提升用户好感度,另一方面也是提升转化率的良方。但这对于一般企业来说,是个漫长的周期,需要投入大量的人力和时间,不断地积累数据,不断地打磨算法,才能有所见效。腾讯云依托腾讯在电商、游戏、金融、泛娱乐、资讯及 3C 等多领域深厚的大数据技术积累,为客户提供基于海量用户画像 + 实时大数据机器学习的内容个性化推荐 PaaS 服务。
  • 电商 + 直播。说到新玩法,“电商 + 直播”绝对是一个绕不开的火热话题,然而自主研发,却是难熬的等待,腾讯云基于腾讯多年在视频领域的经验,推出一站式解决方案,从全平台的推流主播 SDK,到海量云端处理系统,再到强大的 CDN 云端加速,最终到用户播放 SDK,无缝链接,24 小时即可完成接入。
  • 当然,如今备受关注的小程序,也是一个不得不提的话题,据统计,蘑菇街女装精选小程序 7 月 4 日正式上线,截至目前已经获取了 6000 万的新客户。到 9 月份,日均访问量增长较 7 月超过 200%,GMV 增长超过 140%。而小程序现有的 SDK/DEMO 缺乏对云端的支持,依赖开发者逐个模块搭建云端服务,过程繁琐。腾讯云提供了一键构建具备云端能力的专属小程序,提高小程序开发的效率。此外,还提供 PaaS 级的 WebSocket 信道服务,降低了开发者使用 WebSocket 通信的门槛。同时,通过提供完整的鉴权会话管理服务,来保证用户的信息安全。

写在最后

本文通过云端海量并发弹性扩容、AI 安全体系防御构建与实施、电商领域的创新应用三大板块介绍了腾讯云如何在双十一电商大促的情境下,为电商平台提供可用、高效、完善的安全护航方案。电商与黑产之间的较量从来不会结束,双十一来临之际,我们希望通过一些对抗黑产的新经验和技术的分享,给电商从业人员以及相关的开发者提供一些新的思路和借鉴。

作者介绍

戴唯伟,腾讯云解决方案资深架构师,5 年传统 SI 技术工作经历,5 年公有云上云架构咨询经历。上云架构“老司机”,曾就职于微软云、金山云,对国内外云厂商产品发展、各类用户上云历程有很多“切身体会”。深谙传统企业客户、游戏行业客户、互联网行业客户“上云”和“用云”的痛点、难点和机遇,职业理想是做云计算和 AI 殿堂里的“扫地僧”。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2017-11-10 22:004505
用户头像

发布了 24 篇内容, 共 99297 次阅读, 收获喜欢 2 次。

关注

评论

发布
暂无评论
发现更多内容

生于云,长于云,华为云推动开发者数字化创新

科技热闻

Nacos 多语言体系再添新员:首个 Rust 语言版本正式发布!

阿里巴巴云原生

阿里云 云原生 nacos

什么是双机热备?实现方式有哪些?

行云管家

高可用 ha 热备 双机热备

直播预告|AutoML Meetup V1 第四范式 & 百度 & AWS ,共探自动机器学习最佳实践

星策开源社区

人工智能 机器学习 百度 AWS 自动机器学习

华为首发微存储新品,破解互联网海量数据高效存储难题

科技热闻

用户+案例+认证+框架一键搞定,不愧是阿里最新Spring Security全栈笔记!

Java永远的神

Java 程序员 springsecurity java面试 安全框架

【解决方案】国产逆袭?基于国产 MCU 的网红筋膜枪方案分析

元器件秋姐

国产芯片 BLDC方案 BLDC应用 电机控制 元器件电商

推荐一份关于JDK实现&源码解读的经典著作,强烈建议Java程序员都看看

程序员小毕

程序员 程序人生 Java并发 后端 jdk源码

前端leetcde算法面试套路之二叉树

js2030code

JavaScript LeetCode

slurm集群调度策略详解(1)-主调度

慕冰

Slurm 调度系统 主调度

深入理解Metrics(三):Histograms

冰心的小屋

Java metrics Histograms

转行数据分析?你可能需要这块敲门砖!

博文视点Broadview

【收藏】锂电材料工厂设备日常保养评分标准

PreMaint

设备管理 设备日常保养

vivo鲁京辉:从体验到生态,守正创新,vivo隐私安全再升级

Geek_2d6073

中软国际发力智联网自主创新 数智赋能千行百业

中软国际AIoT开发者社区

华为开发者大会2022 智联网

网站收录量与索引量有什么区别?

源字节1号

软件开发 小程序开发

【C语言】double 关键字

謓泽

11月月更

相约2023,高通公司宣布参加第六届进博会

科技热闻

【LeetCode】最长同值路径Java题解

Albert

算法 LeetCode 11月月更

全网首次公开!设计模式+代码+JVM调优,不愧是阿里Java性能优化核心原理全解手册

Java全栈架构师

程序员 程序人生 性能优化 后端 java面试

Linux—nmap、nc命令 –网络探测工具和安全和端口扫描器

A-刘晨阳

Linux 运维 网络 11月月更

一站式工业边缘数据采集处理与设备反控实践

EMQ映云科技

物联网 IoT neuron 11月月更 eKuiper

深入理解Metrics(四):Meters

冰心的小屋

Java metrics meters

前端leetcde算法面试套路之堆

js2030code

JavaScript LeetCode

Wallys//Qualcomm ipq4018/IPQ4028 Access Point /high power/Wireless Dual band 11AC Wave2 /Indoor industrial wifi5 router

wallysmeng

IPQ4018 IPQ4028

赛况激烈!2022 OceanBase数据库大赛50强诞生

OceanBase 数据库

别再自己瞎写工具类了,Spring Boot 内置工具类应有尽有, 建议收藏!!

程序知音

Java spring springboot java面试 后端技术

Linux—watch命令详解– 周期性执行命令

A-刘晨阳

Linux 运维 11月月更 周期性监控

前端leetcde算法面试套路之树

js2030code

JavaScript LeetCode

英特尔CEO出席2022世界互联网大会:五大超级技术力量释放数字时代全新可能

科技之家

Linux下安装Python3.6.8(超级详细)

A-刘晨阳

Linux 运维 Python3 11月月更 pip3

腾讯云11·11:千亿订单背后的安全“暗战”_安全_江柳_InfoQ精选文章