基于深度学习的电信塔缺陷检测

本文主要介绍一个基于深度学习的电信塔缺陷检测系统方案。

背景介绍

电信塔被认为是确保全国通信的关键基础设施。电信服务提供商依靠这些塔来托管其天线、电源模块和其他通信组件。为了确保通信服务不间断，需要对这些塔进行定期维护和保养。

为了收集有关塔的健康状况的信息，需要派人到塔上手动检查多种类型的缺陷。与电信塔相关的常见缺陷包括螺母、螺栓、板、接头缺失、横梁断裂或扭曲、零件腐蚀、天线损坏或未对准等。由于需要人工操作，这种手动检查方法既耗时又存在潜在危险距地面数百英尺。

人类物理访问的另一种选择是使用无人机，携带相机有效载荷来检查这些塔。无人机可以捕获塔各个面的视频输入，然后可以使用自动检测技术进行检查。采用深度学习技术对电信塔等民用基础设施资产进行高级分析。

本文介绍了如何使用软件来执行检测缺失螺栓的关键任务，也许同样重要的是，它们在视频的多个帧中进行独特的识别和标记，以便维护人员能够快速查明特定缺陷，而无需重复。

实现流程

处理管道由几个阶段组成，从摄取无人机镜头到生成结果。本节描述了准确检测缺陷所涉及的关键模块：

1. 检测 

我们利用基于 CNN 的图像分割网络，因为它能够检测和定位小规模缺陷。用于缺陷语义分割的模型是Mobilenet-unet。该模型利用 Mobilenet 主干网，然后使用转换块和上采样层来构建分割图。

CNN 需要标记数据才能检测无人机视频中的异常情况。标签是分层完成的，构建构成塔的组件 - 例如塔面、梁、板、螺栓和孔，如图 3 所示。

我们为我们的模型使用分类交叉熵损失和 Adam 优化器，并通过增强训练 50 到 100 个时期。我们在训练过程中利用亮度、对比度、旋转、翻转和其他增强技术来提高模型泛化能力。

2. 过滤模块： 

检测模块识别图像中的缺陷。但有些缺陷是误报。我们可以利用缺陷的一些特性来帮助我们提高交集（IoU）分数并降低误报率。我们使用以下两个过滤器：

① 长宽过滤器：将检测模块后得到的缺陷与长宽阈值进行进一步检查。如果缺陷低于所需阈值，则将其删除。这有助于改善由于噪声而发生的一些小杂散检测。

② Check-inside-Parent 过滤器：我们事先也知道缺陷只会发生在塔结构的边界内部。为了消除后台的任何错误检测，我们使用此过滤器首先对塔（父节点）进行检测，然后使用生成的塔区域过滤掉无关的缺陷。

3. 追踪与标记：

在过滤器组件之后，管道中的下一个部分是跟踪模块。跟踪器可以保存检测到的缺陷的位置，然后在视频的下一帧中的邻域中进行搜索。使用图像配准技术，可以在下一帧中估计缺陷的预期位置。这是通过使移动图像重叠在静止图像之上来完成的。然后我们在估计的邻域内进行搜索。如果新缺陷的中心落在该邻域内（在预定义的误差范围内），我们将其指定为现有缺陷，而不是新缺陷。使用这种方法，跟踪器模块可以动态维护其历史图中每个缺陷的位置。

图 4 显示了由绿色边界框突出显示的塔孔。通过使用最后一帧的偏移，获得估计的边界框并将其标记为黄色。一些边缘情况需要在跟踪期间进行特殊处理。我们为每个缺陷保留 5 个历史记录；如果缺陷在当前帧中逃避检测，但在接下来的 4 帧中仍然检测到，我们将能够将其作为相同的缺陷进行跟踪。这种簿记功能使我们在出现误报检测时具有一定的灵活性，并为跟踪模块提供了一层稳健性。

图 5 显示了塔的一面的整个视频通过完整的软件管道后的视觉结果。缺失螺栓的总数（在本例中为 5 个）被唯一标识并存储在数据库中。

结论

使用深度学习实现此软件，可以自动化电信塔的日常检查，并且可以自动监控感兴趣的特定组件是否存在异常。这可以节省资源和时间，电信公司可以利用它来确保更好地维护其基础设施并向最终消费者提供更好的服务。