Hot-Standby技术助力微车AI黑科技：老司机是如何养成的？

首先来问在座的老司机一个问题：你能快速说出下面这张图中每一个指示灯、告警标志的准确释义吗？

在生活中，我们经常会遇到汽车仪表盘故障标志亮起的情况，但很多人对此却是茫然无措。面对突发的小状况，大家通常会打电话求助身边的朋友或是咨询 4S 店。当你急切的想得到答案时，又往往由于口述表达的不清晰、或对方不了解具体情况，不能及时解决问题。并且目前汽车上各种故障灯、提示灯种类繁多，有时甚至连各种老司机、4S 店工作人员对某些故障灯的信息也不是非常明确。

这个时候，就需要用到了微车 APP 的黑科技——AI 智能识别汽车故障。

一 微车 AI 黑科技：汽车故障识别功能

微车是一个一站式车主服务平台，目前已经拥有 1.3 亿车主用户，深度服务于中国亿万车主和汽车生态圈。针对车主的痛点，微车新推出了 AI 智能识别汽车故障服务，车主只要用手机一扫，即可了解各种故障灯及解决方式。

图：微车 AI 智能识别汽车故障应用界面

基于 1.3 亿注册车辆，微车在服务车主的养车、用车过程中，积累了大量的数据和专家知识，通过识别车辆故障图像中的每一个对象，将其分类、建立标签，依靠深度学习能力来识别图中的信息，最终达到基于不同车辆的故障进行智能识别的目的。故障识别产品是微车最新的 AI 产品，也是微车 AI 智能转型的重要一步。

在此过程中，微车采用 UCloud 提供的 UAI-Inference 在线服务平台作为海量数据的平台支撑，当微车业务突增时也可实现算力的平滑拓展升级。除此之外，UAI-Inference 还帮助微车免去了搭建底层技术架构和运维的工作，技术人员只需专注于 AI 智能识别汽车故障业务的研发，大大提高了 AI 算法的开发效率。

但同时，微车还提出了其他的业务痛点诉求。

二 微车的痛点：业务实时性与算力高投入的矛盾

微车开发的汽车故障识别功能对于业务的实时性要求非常高，为了保证用户每次都能有流畅迅速的使用体验，微车需要充足的 GPU 算力资源支撑，而业务的实时性需求则意味着 GPU 的高成本投入。

同时，该业务还有着非常典型的波峰波谷差异，如下图，可以看到：在部分时间段服务 QPS 甚至趋于零点，那也就意味着这段时间内 GPU 算力资源势必会被浪费。

图：微车汽车故障识别功能监控信息

起初为了控制成本，微车考虑过使用 CPU 资源进行算力支撑，我们列出了 UCloud 的 GPU 和 CPU 的价格及延时对比示意图，供参考。

如上表，可以看到，CPU 虽然在价格上具备更大的优势，但是在延时上的差距非常明显，这是因为 GPU 拥有更多的计算单元与更大的吞吐量环境。而微车要做的是对车辆信息大数据进行深度学习，深度学习的特点是需要大量并行的重复计算，从这一点来讲，GPU 能够提供更加高效流畅的使用体验。

最终，微车选择使用 GPU 算力资源优先保障用户的使用体验，同时高成本投入的难题也得到了解决。那么，微车是怎么做的呢？↓↓↓

三 Hot-Standby：微车实现高算力+低成本的定心丸

微车采用 UAI-Inference 新增的的 Hot-Standby 功能，同时实现了高可靠 GPU 算力支持与超高性价比的双重保障。

1、什么是 Hot-Standby？

Hot-Standby 是 UCloud 开发的一种高性价比的算力支持特性。它归属于 UAI-Inference 在线服务平台，当用户选择使用算力独占模式（GPU 节点）时，为减少独占资源在用户无访问时的资源浪费，用降配资源支持服务待机的一种模式。

开启 Hot-Standby 功能后，当 AI 在线服务在 30 分钟内无任何请求时，系统会自动将 AI 在线服务迁移至降配资源池，大幅减少费用支出，但降配节点仍然保证为 GPU 节点算力。同时，一旦有用户请求，就会立刻恢复 GPU 独占节点模式。

2、Hot-Standby 究竟能省多少钱？

同样我们列出了 Hot-Standby 模式与 GPU、CPU 模式下的价格与延时对比数据。

接下来我们用一个简单的案例来算算 Hot-Standby 究竟能省多少钱？

Q

某用户新上线 APP 的 AI 在线服务功能还处于新产品推广期间，用户访问量不大，每天只有 1 个半小时的高峰集中请求，平时几乎无请求。为了保证应用的实时性，根据业务量大小，用户选择了 1 个 P40 GPU 节点作为算力支撑。问题来了：使用一个月后，Hot-Standby 功能可以为用户省下多少钱？

A

• 不使用Hot-Standby：

• （5.1/小时节点1节点）24小时/天30天=3672元

• 使用Hot-Standby：

• （（0.99元/小时*1节点）22.5小时/天+（5.1元/小时1节点）*1.5小时/天）*30天=897.75元

• 可节省：

• （3672-897.75)/3672=75%

可以看到，Hot-Standby 功能开启后，单 GPU 节点下可为用户节省 75%的开销，微车正是应用了该功能才解决了高成本投入的难题。

3、Hot-Standby 如何在 UCloud 控制台上开启？

最后，我们为大家奉上 Hot-Standby 的功能使用指南。

（1）确认服务类型为算力独占模式

UAI-Inference 分为两种模式，在弹性服务模式下，平台本身已经精确按量计费，在用户无请求时是不收取任何费用的，无需再设置 Hot-Standby 模式。因此首先需要确认服务类型为独占模式。

（2）开启 Hot-Standby 功能

Hot-Standby 被定义在自动伸缩规则下，用户需要进入伸缩管理界面打开 Hot-Standby 功能，由自动伸缩引擎统一执行调整算力到降配节点及恢复算力到独占节点等步骤。

（3）Hot-Standby 的触发规则

Hot-Standby 主要受 QPS 影响，当 QPS 降为 0 且维持 30 分钟后，此时自动伸缩引擎会将当前所有节点逐渐迁移到降配节点上，Hot-Standby 特性被触发。同时针对实际业务量大小，用户可通过设置最小节点数量决定 Hot-Standby 降配的节点值。

最后我们来总结下， Hot-Standby 功能适用于以下场景的用户：

（1）业务本身对单节点算力要求高，需要使用独占算力服务（GPU 节点）；

（2）业务存在明显的闲置期（无用户访问时段），但又需要随时待命实时响应需求。

目前，Hot-Standby 功能已经在北京二和上海二地域提供，欢迎前来试用体验。

本文转载自公众号 UCloud 技术（ID：ucloud_tech）。

原文链接：

https://mp.weixin.qq.com/s/CVm-NV0taEpURaj1iAH39w