2020年2月25日，微盟发布公告称，公司线上生产环境及数据遭到员工恶意破坏，导致公司系统服务不可用。经过几天的“抢救”，3月1日，微盟再次发布公告称，数据已全部找回，将于3月2日进行系统上线演练，于3月3日上午9点恢复数据正式上线，同时针对受到影响的商家也给出了赔付计划。

事件回溯

“删库跑路”一直是运维人员常挂在嘴边的戏谑之词，但当现实生活中真的发生了，还是让人震惊不已。相信关于微盟被删库事件，大家多少都有所耳闻，不过，为了照顾不清楚前因后果的同学，这里先为大家梳理一下整个事件的经过。

2020年2月23日18时56分，微盟研发中心运维部核心运维人员通过VPN登入服务器，并对线上生产环境进行了恶意破坏；
2020年2月23日19 时，微盟内部系统监控报警，出现大面积服务集群无法响应；
2020年2月25日，微盟紧急恢复了核心业务的线上生产环境，保证新用户使用不受影响，并提供老用户临时过渡方案，确保商家在数据暂时没有恢复的情况下可以正常经营；
2020年2月28日，微盟恢复了所有业务的线上生产环境，并且开放了老用户登录，以及恢复了微站产品的所有数据；
3月1日，微盟发公告称已全面找回数据。

微盟发布的公告中也对接下来的数据恢复工作，做了计划部署。3月2日凌晨2点至8点，微盟进行数据恢复上线演练，在此期间微盟系统会停止服务，演练完成后系统数据回滚到3月2日的数据。 3月2日晚上10点至3月3日上午9点，微盟将正式进行数据恢复上线， 恢复2月23日之前的数据，同时将2月23日与3月2日的数据进行合并，完成所有的数据恢复工作。

微盟事后处理方法

根据公开资料显示，微盟目前的渠道代理商超1600家，注册商户超300万。此次微盟宕机或导致300万商家生意停摆，损失巨大。因此，微盟也公布了商家赔付计划，整体准备了1.5亿元人民币赔付拨备金，其中微盟公司承担1亿元，管理层承担5000万元。

针对商家因系统不可用而造成的不同损失，微盟也制定了不同的赔付方案：

现金赔付计划

针对因系统不可用而造成利润损失的商户，微盟将按照商家边际贡献利润额进行赔付，具体公式计算如下：

边际贡献利润额=日均收入×行业平均边际贡献利润率×系统故障时间

流量赔付计划

针对因系统不可用而造成流量损失的商户，微盟将给予腾讯广告50000曝光次数的流量补偿，并且提供账户运营服务，同时再延长SaaS服务有效期两个月。

放弃自建数据库，基础设施全力上云

以上是经济方面的赔偿，在技术方面，此次核心运维对微盟生产环境和数据造成破坏，使得商家对微盟系统安全和稳定性产生了质疑，同时也给微盟自己敲响了警钟。

微盟在3月1日发布的公告中称，微盟将会支持基础设施全力上云，逐步放弃自建数据库服务，迁移到腾讯云数据库（CDB），增加数据库跨可用区和异地灾备的能力，同时将黑石1.0物理机全面升级黑石2.0，全面使用云主机。

除了之外，微盟还宣布将加强数据安全管理机制和安全灾备体系建设。

据了解，微盟将使用腾讯云AM权限系统进行云资源管理，严格执行分级授权和最小集权限制度，对高危险动作执行二次授权制度。针对开发环境、测试环境和生产环境进行严格隔离，使用云堡垒机替换自建堡垒机，进行细粒度权限分级和授权管理，严格审计操作日志，发送安全审计报表。

同时，微盟将在北京、上海、南京等地区建立全备份的冷备系统架构，并建立高可用的同城双活架构，所有云主机启用每天快照策略，保证全量和增量备份，所有非结构化数据库使用腾讯COS对象存储系统归档保存，启用多异地复制功能，数据存放多地，COS 冷存储，确保数据只增不减。

删库事件如何避免和补救？

回顾最近几年的删库事件，我们发现并不在少数，删库原因也各种各样，有误删，有介质损坏，也有人为删除的。

2015年5月，携程员工操作失误，删除了生产服务器上的执行代码，导致官方网站和应用程序大面积瘫痪，无法正常使用；2017年1月，开源代码托管平台GitLab系统管理员对数据库进行日常维护时，无意中运行了数据库目录删除命令，导致300GB的原始数据只保留了4.5G，GitLab被迫下线。

微盟被删库事件，引发了运维领域众多技术专家和从业人员的讨论，针对如何预防删库，如何恢复数据，纷纷提出了自己的观点。我们整理了部分技术专家针对此提出的建议：

人肉运维是隐患

“直接在生产环境中敲命令是一种非常不好的习惯。”左耳朵耗子曾表示，一个公司的运维能力的强弱和上线上环境敲命令是有关的，越是喜欢上线敲命令你的运维能力就越弱，越是通过自动化来处理问题，你的运维能力就越强。真正良性的运维能力是——人管代码，代码管机器，而不是人管机器。你敲了什么命令没人知道，但是你写个工具做变更线上系统，这个工具干了什么事，看看工具的源码就知道了。

数据备份系统足够强

系统是需要做数据备份的，但有时就算所有的备份都可以也会避免的出现数据丢失。左耳朵耗子表示：“如果你要让你的备份系统随时都可以用，那么就要让它随时都Live着，而随时都Live着的多结点系统，基本上就是一个分布式的高可用的系统。因为数据丢失的原因有很多种，比如掉电、磁盘损坏、中病毒等等，而那些流程、规则、人肉检查、权限系统、checklist等等都只是让人不要误操作，都不管用，这个时候，你不得不用更好的技术去设计出一个高可用的系统！别无它法！”

上云是个好方法

技术专家认为数据放在云端的保险系数还是相对较高的，因为云端有足够多的公共资源作为支撑。其中，快照和异地远程复制灾备服务是云端提供的非常好用的功能，建议大家使用。当发生数据删除时，可以使用快照迅速恢复或者回滚到某个历史时刻，然后再通过其他方法补平到最新数据状态；而云端异地远程复制灾备服务也是比较成熟的技术，相比本地实施的容灾，初期投入更加划算。

建立分级授权机制

即使数据容灾做得再好，也难以避免内部人员的主动破坏，因此建立分级授权机制是很有必要的，高危操作必须多人仲裁表决才能执行。

相关阅读：

微盟 SaaS 业务数据遭破坏，涉事员工已拘留，数据正有序修复

因运维恶意操作，微盟宕机 36 小时，企业如何加强风险防范能力？

创作场景

被删库后，微盟赔付 1.5 亿，放弃自建数据库，全力上云