美国FDA新药审批流程被公认为世界上最完备，最科学的程序，本文将从这个审批流程出发，类比互联网公司的分级发布策略，希望能够更好的帮助大家理解。

新药临床试验的”黄金标准“

美国FDA新药审批流程被公认为世界上最完备，最科学的程序。目前的标准是从1962年开始实施，被称为是新药临床试验的”黄金标准“。其新药审批流程整体如下图所示，在此，我们重点介绍临床试验阶段的试验规模和试验方法

临床一期实验目标是安全性，允许小范围的人群试验，通常招募20-100个健康的志愿者，付钱给他们，让他们服用该药物，严密监测可能的毒副作用，耗时1年左右。如果毒副作用在可以接受的范围内，就可以申请二期实验。
临床二期实验目标是有效性，通常招募100-500个该药物针对的病人，通过随机分组双盲对照试验（病人被随机编入实验组和参照组，前者吃药，后者吃安慰剂），耗时1-2年。如果药物对小范围人群有效，且毒副作用在可以接受的范围内，就可以申请三期实验了。
临床三期实验目标是在全国范围内证明有效，通常招募1000-5000个该药物针对的病人，耗时1-4年，通过大样本，随机双盲，多国多地区多中心进行试验，如果试验结果比较满意，公司要向FDA递交新药申请NDA。
非严格意义的临床四期实验，药物投放市场之后，让成千上万的人使用后，还需要严密监测可能的副作用，随时向FDA报告。

即使如此，仍然有不少人指责FDA审批药品的速度太快！比如，止疼药Vioxx和治疗糖尿病的新药Rezulin就曾在上市后不久发现了新问题，被召回。另一方面，那些身患绝症的病人又在抱怨FDA速度太慢，贻误时机。不少人实在等不及了，便四处打听，要求加入三期临床试验，充当志愿者。

互联网公司的分级发布策略

蓝绿部署

发布新版本的时候，创建一套新的集群部署新版本，然后逐渐将流量从旧版本切到新版本的集群上，如果新版本有异常，则迅速切回到旧版本。待新版本稳定后，销毁旧版本的集群即可。

金丝雀部署

金丝雀部署和蓝绿部署有点像，但升级的策略改为阶段性的进行，而非一次性从蓝色版本切换到绿色版本，从而降低风险。

对照组

基于金丝雀部署的前提下，还可以增加对照组，如下图示，当进行V2.0版本升级时，创建Canary分组，并且创建了一个同等机器规模的Baseline分组（使用V1.0），此时，两者集群规模一致，仅版本不同，可以更好的对比新旧版本的效果。如果没有对照组的话，Canary分组的一些业务指标直接和Production分区的业务指标进行比对，可能会引入较多的噪音，导致比对困难。

Fackbook的发布策略

Fackbook发布策略的亮点在于对小流量用户的选择，从下图可以看到，新版本发布后，部署的集群仅对Facebook员工可见，只有在通过了内部员工验证后，才会开始对外部用户进行小流量

应用商店的灰度分布策略

APP Store 分阶段发布策略

APP Store的分阶段发布策略主要内容是，新版本更新在 7 天内按百分比发布给已打开自动更新的 macOS 或 iOS 用户（根据用户的 Apple ID 随机挑选）。同时，所有下载了 App 的用户可随时在 App Store 中手动更新新版App。如果发现新版本存在问题，可以随时暂停分阶段发布，分阶段发布累计最多可暂停30天，暂停次数不限。

笔者猜测该策略下存在的问题（因条件有限，未能一一证实）：

灰度仅仅针对老用户而言，新用户下载默认都是新版
根据用户的Apple ID随机挑选，而不能针对硬件类型（IPAD还是Iphone），设备类型（Iphone11还是Iphone8），系统版本，软件版本，自定义用户标签（付费用户）等
灰度发布的版本一旦出现问题是无法回滚的，在修复版开发完成重新发布审核上架之前，已经更新的用户只能继续使用bug版本，或者是将旧版本的程序以新版本号进行发布

Google Play Store 分阶段发布策略

Google Play Store 的分阶段发布策略（staged rollout）给用户的灵活性较大，默认策略如下图所示，但用户可以对分阶段发布策略进行修改，从而满足自己的需求。

效果检查

只有灰度而没有效果检查，这样就无法发现灰度下的异常，那么只能是不断增加各个阶段的时间间隔来被动等用户反馈问题，长时间下去，必然会导致研发人员对发布效率的不满。因此，需要建立并逐步完善效果检查机制，下图是服务端和客户端两类场景下的效果检查的截图，供大家参考。

效果检查需要和灰度发布联动起来，在一次灰度发布完毕后，如果效果检查通过，且停滞时间也达到要求，那么就可以自动化的进行下一阶段的发布工作。反之，如果效果检查不通过，则应该立即终止发布过程并回滚版本，从而避免较大的业务影响。

全网客户端分级发布实战

样本选取

硬件：选取所有规模超过1000台的机型
操作系统：选取所有规模超过1000台的操作系统版本
内核：选取所有规模超过1000台的内核版本
备机池：选取备机池所有的机器
IDC：覆盖所有IDC机房
业务：覆盖所有核心业务线
基础设施：覆盖所有基础设施

发布阶段

第一阶段：备机池，备机池的机器常态下处于空闲状态，仅部署离线计算任务。样本丰富度上虽然不尽如人意，但因为规模较大，且对线上完全无损，因此非常适合作为敢死队角色。从实际效果上看，在该阶段，我们拦截了大量的异常，从而避免线上遭受损失

第二阶段：测试机，之所以选取测试机集群，是因为整个公司的测试机规模很大，更为重要的是测试机部署了线上绝大部分应用场景，在样本的丰富度上几乎等同于线上环境了。且测试机的故障，相较于线上故障来说，严重程度会低一些

第三阶段：样本补齐，对于备机池和测试机无法覆盖的样本，则需要从线上随机抽样进行覆盖，确保样本的覆盖度达到要求，在实际抽样的时候，会尽量选取非核心业务的机器。样本选取的数量应该占总体数量的0.5%到1%为宜

第四阶段：自运维集群升级，在确保程序能稳定运行在各类样本后，就开始正式的升级流程了，首先需要将自身的集群进行升级，从而能够在第一时间发现可能存在的问题

第五阶段：分地域升级，需要遵循以下原则：

按照地域进行升级，华南----华中----华北
同一地域内，按照故障域逐个升级，假设AZ1+AZ2是一个故障域，AZ3+AZ4是一个故障域，则必须是升级完毕一个故障域的所有AZ后，才能升级另外一个故障域
同一地域内，按机房建设顺序，新机房先升级，老机房后升级

发布速度

发布的过程中有如下要求：

非工作日不进行升级
每阶段均从工作日的上午开始发布
所有阶段执行统一的发布速度，不进行特殊处理，避免并发度错误而导致故障
并发度为串行升级，整体耗时控制在两周内完成
第一次发布，整体耗时不低于一个月时间

异常联动

一旦发现升级效果不符合预期，则系统会自动终止升级操作，并视情况决定是否自动回滚。如果硬性指标如机器存活数量出现波动，则会暂停升级，等待人工介入处理。

参考文章

部署策略对比：蓝绿部署、金丝雀发布及其他

CanaryRelease

创作场景

从美国 FDA 新药审批制度看分级发布最佳实践