7*24 小时河道治理监测，AI 技术如何才能有的放矢？

河道是水生态环境的重要载体，具有输送和储存水资源的功能。但是，随着城市化、工业化的发展，大量的生活污水、工业污水排入了城市河道之中，不仅破坏了河道的生态系统，也可能危害居民身体健康。

此外，由于城市河道一直处于无人管理的状态，没有全面地进行疏通整治，河道中的垃圾、污水、淤泥等造成河道的堵塞，加上没有合理的规划，很容易诱发水体富营养化甚至洪涝等灾害。

近年来，随着人们对生态问题的日益重视，河道治理也变得愈加重要。

然而，长期以来，城市河道治理工作需要依赖于人工巡查或者人工监控的方式，假设要 24 小时监管几十个甚至上百处河道，只依赖人工，很容易存在工作量大、信息遗漏、实时性差等各种问题。而如此繁重的工作量、全天无休的工作时长、海量的数据信息和及时的信息同步需求，恰恰是数字化技术的“强项”——包括 AI 在内的各种技术正在被应用于城市河道治理过程中。

面对复杂场景，通用 AI 技术“捉襟见肘”

具体来说，河道治理主要是针对排污、垃圾等行为进行监测，及时进行清理，保护河流的生态环境；同时监测水位和排水口溢流的情况，当雨季来临时，可以及时对河道进行疏导，防止洪灾的发生；在日常，还需要对河道周边进行监测，防止有人靠近河边危机生命安全。

在这些场景下，通过 AI 技术进行河道治理，主要是利旧既有的摄像头，使用 AI 自动识别河道治理的相关任务。这一方面可以节省大量的人工投入，减少巡检、监控人员的工作量，另一方面，还能全天候进行监控，避免人为遗漏，达到真正的降本增效。

以深圳河流水质科技管控项目为例：该项目中管控的对象包括 207 条重点河流、1467 个小微黑臭水体、5000 多个沿河排水口，其中全部重点河流要做到一日一巡一测。2019 年，通过与万科物业（万物云前身）合作，在全市主要河流布设了 132 套高清摄像头、122 个自动监测微站，建立了含陆（人工巡查、手持设备）、海（无人船、微站、流量计）、空（无人机、摄像头）“三军”和一支“特种部队”（应急巡查）的全覆盖、空地结合、人机结合、立体交叉的监测网络，全面采集水环境数据信息。

万物云目前主要包含了 Space（空间）、Tech（科技）和 Grow（成长）三大模块，聚焦的 AI 河道治理场景包括：岸堤塌陷、人员落水、人员垂钓、河岸垃圾、河面漂浮物、水质异常、排水口溢流等。

但是，其中，并不是每一个场景的落地都一蹴而就。比如，万物云提出的河道治理方案中大多采用了目标检测的方法，涉及对人员垂钓、人员入侵、漂浮物等容易识别的场景，同时，也存在一些比较复杂的场景，不能通过通用的 AI 技术去解决，或者做不到覆盖所有的情况，例如：排水口溢流。

由于摄像头一般安装距离较远，排水口的监控画面比较小，加上排水口存在数量多、形状不一、分布点位广泛等特点，河道排水口溢流检测对于 AI 技术是一个具有挑战性的应用场景。

目前常用的目标检测算法存在局限性，只能识别明显的排水管及排水坝，如：

对于地面涵洞以及被水淹末情况下的排水口无法进行识别，如：

因此，如何有效全面的检测所有类型排水口就成为了一个棘手的难题。

用“图像语义分割+预设区域”检测方法解决复杂问题

为了解决排水口溢流检测的复杂问题，万物云团队做了大量的实验，提出了一种图像语义分割结合预设区域的河道排水口溢流检测方法：通过深度学习方法，利用语义分割算法分割出河道水体，结合摄像头画面上的预设区域（排水口区域），再用后处理方法计算出水体面积的占比，从而可以判断出排水口是否发生了溢流。

与常规的目标检测方法相比，以上提出的整套方案可以解决排水口在被淹没等特殊情况下难以检测的问题，覆盖了不同场景下的排水口溢流检测。

具体做法是：首先在摄像头画面中设定一个 mask 预选区域，把图像中的排水口位置框出来；然后对整张图像进行语义分割，得到水体的像素位置；接着使用传统图像处理方法把 mask 区域中的水体面积占比计算出来。当连续多帧图像的 mask 区域的水体面积占比都大于特定阈值时，则判断这个排水口发生了流溢，触发告警。

实施步骤分三步：设置排水口预设区域、语义分割检测水体、计算预设区域内的水体面积占比。

第一，设置排水口预设区域：先设置好要关注的区域，通过判断此区域是否有水来决定排水口是否溢流。如下图：

第二，语义分割检测水体：使用轻量级语义分割网络，对图像中的水体进行分割。如下图：

第三，结合语义分割图和预设区域，计算预设区域内的水体面积占比：根据多边形的坐标点，计算出预设区域的面积 S1；把分割图和预设区域结合，利用像素值去计算预设区域内的水体面积 S2；计算水体面积在预设区域内的占比 S2/S1，当面积占比大于阈值则判断排水口发生了溢流。如下图：

整体算法流程如下图：

通过这种图像语义分割结合预设区域的方法，不再局限于明显的“洞口型”排水口，可以实现不同场景下的各类型排水口的溢流检测，泛化应用场景。

10 个河道治理场景，7*24 小时 AI 智能监测

2022 年 5 月 31 日，由万物云算法团队研发的 AI 河道治理方案正式上线，在深圳百余条河道进行试运行。目前，已经实现了在“垂钓检测”、“人员入侵”、“水质异常”、“水位预警”、“排水口溢流”等 10 个河道场景的 7*24 小时 AI 智能监测，极大减轻人工巡逻及盯屏等繁重工作。

在这个过程中，万物云的算法团队通过智慧化手段，重塑了空间服务效率和体验，为河道治理提供了强力支撑，建立了起动态化、可视化、可监督的系统，实现了对深圳河流水体全天候、全覆盖、无死角的精细化动态管控，助力深圳成为全国黑臭水体治理示范城市。

首先是最直观的人力成本，深圳河流水质科技管控项目在 1km² 的范围上节约 5 人左右的投入，核算约 50%的成本，在长久时间线上至少节约 60%以上的人力成本；其次是时间的成本，从之前的 10h/人天的人工盯屏，变成了 7*24 小时的无间断监测；此外，利用智能手段监测，自动识别、自动告警的业务闭环，极大的简化了繁琐的流程，相比于人工的现场巡查和告警，效率提升 75%+。另外，值得一提的是，万物云的 AI 方案几乎 95%以上是可复制的，边界成本极低，相对于人工招聘、培训、上岗等环节来说， AI 方案上线和落地更快。

当然，对于河道治理而言，深圳只是一个开始；对于生态保护而言，河道治理只是一个开始。有效的河流治理将助力恢复受损地区的生态环境，提高河道自我净化能力；而河道的清洁化，将助力实现河流生态环境的可持续发展，有效防止生态环境的持续恶化，促进整个社会的生态环境可持续性。

作者介绍：姚钊盈、苏红梅、袁戟、郑泽涛，来自万物云 DTC-机器智能产品部。团队自组建一年来，在德国慕尼黑工业大学（Technische Universitaet Muenchen）博士、万物云数据与技术中心算法负责人袁戟博士的带领下，以云端视觉、边端视觉以及运筹优化三个方向作为主要研究方向，开展算法研发工作，为万物云远程运营、智慧工地、城区巡航（无人机）、河道治理等其他应用和场景赋予 AI 能力，并通过智慧工单、保洁和运维的智能调度等算法实现 AI 能力的沉淀。