融合自注意力特征嵌入的夜间机场跑道异物入侵检测

原始YOLOv5模型在瓶颈层处应用标准瓶颈模块^［30］由一个1×1卷积、一个3×3卷积以及跳跃连接构成，其结构如图2所示。具有较强灵活性的1×1卷积层主要用于降低通道数。当膨胀率设置为0.5且输入通道为640时，经过1×1卷积层之后通道数变为320，3×3卷积层可用于特定通道数输出，操作后参数量会大幅减少。

图2  瓶颈结构对比

Fig.2  Comparison of bottleneck structures

由于夜间机场跑道场景下的异物实例具有数量多和目标尺度偏小的特点，在网络结构中使用较多卷积操作会导致目标特征信息大量丢失，不利于中小尺度目标的精确识别。因此，在使用标准瓶颈模块效果较差的情况下，本文应用具备线性映射的Transformer代替标准卷积进行特征筛选。除此之外，Transformer模块对特征图进行位置信息嵌入，保证特征间有效关联，采用Transformer瓶颈模块能够实现位置信息的有效嵌入和全局特征提取^［31］。

特征嵌入模块将主干网络输出的特征图划分成N个P×P×C像素的子块，通过扁平化操作可以将其转换为N个P²C维向量。为了避免模型结构受到子块尺寸的影响，采用线性投影将扁平化子块转换成D维向量，因此输入特征可变换为N×D的D维嵌入特征，然后与位置嵌入求和并输入编码器中。特征嵌入过程如图2所示。

夜间机场跑道异物数据集图像目标体积小、分布散乱，并且易受环境变换（如成像角度、光照阴影等）的影响，导致成像结果较差。因此，在模型骨干网络中引入MHSA^［32］，优化模型的特征提取能力，使卷积神经网络在保持较少时空复杂度的同时，一方面可以增大网络模型对输入图像重要区域的关注度，另一方面能够丰富模型对目标轮廓细节信息的拟合度，从而提高模型在复杂场景下对密集散乱目标的检测精度。

MHSA根据主干网络输出的多尺度特征图通过线性映射计算Q，K和V，对其应用softmax激活函数归一化之后，乘上将输出结果输入多层参数独立的并行SA分支子空间，最后逐通道拼接各分支输出的特征图，通过聚合不同分支特征信息丰富主干网络提取的特征空间。

MHSA允许模型从不同自注意力分支子空间中抽取更加丰富的特征信息，并有效预防过拟合。SA和多头自注意力计算公式如下：

其中：Q表示查询向量，K表示键向量，V表示值向量，ω(⋅)表示激活函数softmax(⋅/dk−−√)，Concat表示Pytorch框架中的拼接操作。

在编码过程中，层归一化（Layer Normalization，LN）^［33］针对不同样本计算当前所有神经元的均值和方差。虽然归一化操作过程不受样本批次大小的影响，但是增加了Transformer模块的计算复杂度，使得检测网络训练过程耗时更长。因此，这里应用两个全连接层代替原来的层归一化，由于全连接Linear输入和输出都是形状保持不变的二维张量，因此这种替换方法可以在降低计算复杂度的同时有效地减少样本批次大小的影响。Transformer编码器及MHSA结构如图3所示。

图3  多头自注意力结构

Fig.3  Multi-head self attention structure

本文采用AGV无人车对模拟夜间真实环境下机场跑道路面进行相关类别异物的图像采集。图像采集设备的工作环境额定最低照度为0.051 lux，其他参数如表1所示。为了保证AGV小车在低照度环境中正常移动，图像传感器正常采集异物图像，为AGV无人车上加装1.2 W LED光源，其作用面积约为2 m²，普通LED灯光通量约为75 lm，利用系数约为0.3，维护系数为0.65。平均光照强度为：

其中：Φ表示光源总光通量，CU表示利用系数，FM表示维护系数，S表示区域面积。计算可得：Eav=75 lm×1.2 W×0.3×0.65/2 m²=8.775 lx。由此可知，本文的模拟环境光照强度与夜间机场跑道道面环境相似。

对AGV小车拍摄的异物图像进行数据筛选后最终确定数据集的图像数量为588幅。使用Labelme对包含9个类的3 230个实例目标进行标注，并转化为PASCAL VOC2017格式标注文件。采用Random库按照9∶1的比例将数据集随机划分训练集和测试集，分别用于训练模型和验证最终模型的泛化能力。机场跑道异物图像示例及标注情况如图6所示。

图6  NFOD数据集图像及标注

Fig.6  NFOD dataset images and annotations

从各类别目标的尺度角度分析NFOD夜间机场跑道异物入侵数据集，数据集中目标宽高尺度分布如图7所示。

图7  目标实例尺度分布

Fig.7  Target instance scale distribution

将目标尺寸大于96×96像素的目标划分为大尺度目标，将32×32~96×96像素之间的目标划分为中等尺度目标，将小于32×32像素的目标划分为小尺度目标。从图8可以看到，目标尺寸主要分布在5×5~80×80之间，因此，NFOD夜间机场跑道异物入侵数据集主要由中小尺度目标构成。

图8  mAP可视化结果

Fig.8  Visualization results of mean average precision

应用K-means聚类算法对数据集标注的边界框（Bounding Box，BBox）尺寸进行聚类分析，得到具有固定宽高的初始候选框。预置候选框先验参数有助于模型加速收敛并且使模型获得目标尺寸的先验经验，避免模型在训练时盲目寻找目标。初始候选框的框选质量也会影响到模型的检测精度和参数量。由于YOLOv5包含3个检测层，分别对3个检测层的不同类别先验框进行聚类分析。每个锚点框所对应数值为锚点框的尺寸，从尺寸分布来看，重新聚类后的锚点框参数集中在5~90之间，更适合小尺度异物目标。聚类前后3个检测层的初始候选框尺寸情况如表2所示。

采用K-means聚类算法进行实验，如表3所示，计算最佳候选框尺寸后模型精度达到83.6%，能有效提高模型的检测精度，相较于非最优候选框平均精度mAP提高了0.7%，且图像处理速度也提升了1.4 frame/s，因此验证了初始候选框尺寸先验性对实验结果的积极影响。应用CIoU定位损失函数进行实验分析，由表3和图8（a）的实验结果可知，YOLOv5模型采用CIoU目标定位损失函数后，模型的训练精度相较于GIoU损失函数收敛速度更快，收敛曲线的振荡幅度较小。在测试精度上，CIoU损失对中小目标检测的优化效果较好，在多个小目标类别上精度有较大提升，平均测试精度达到了84.3%，提高了0.7%，验证了应用目标框宽高比作为定位损失惩罚因子的CIoU损失可以提高模型针对低照度场景下小尺度异物目标的定位能力。在添加了融合多头自注意力与特征嵌入的Transformer瓶颈模块进行实验分析，由表3可知，模型精度提升至88.1%，平均精度提高了3.8%，但是由于增加了多个分支子空间提取特征信息，模型的图像处理速度下降了4.5 frame/s。

在YOLOv5-CIoU模型框架基础上，对融合自注意力与特征嵌入的Transformer瓶颈模块参数进行实验，以获得最好的模型效果。对比嵌入位置特征信息后，将特征图输入不同数量的分支子空间对Transformer瓶颈模块抽取长距离特征信息的影响。在MHSA模块中设置1，2，4，8和16个自注意力分支子空间进行实验，实验结果如表4所示。

由表4可知，MHSA中分支子空间的数量对网络表征能力有较大影响。从单个分支增加到4个分支，注意力分支子空间的增加使得网络模型能够从更多独立注意力分支子空间中抽取特征信息进行长距离建模，以增强对中小目标的拟合能力，减少了中小尺度目标的特征信息损失，因此异物检测识别率逐渐上升。而由4个分支增加到16个分支的精度变化过程可知，简单增加分支子空间数量会使计算复杂度大幅上升，导致网络性能下降，图像处理速度由41.5 frame/s降低到20.6 frame/s。由于采用了预训练模型的训练模式，模型的权重都为14.4 MB。综合对比实验结果，4个分支的MHSA表现最好，检测精度最高，模型的图像处理速度也较快，因此将CSPTNet-4Head作为本文算法的最终模型。

本文对比Yolov5框架下不同注意力机制在图像处理速度、权重大小、平均精度以及各类别精度结果，以验证MHSA在特征提取能力上的优势，实验结果如表5所示。其中，压缩激励注意力（Squeeze and Excitation， SE）、协调注意力（Coordinate Attention， CoordAtt）、卷积注意力（Convolutional Block Attention Module， CBAM）、通道注意力（Channel Attention，ChannelAtt）以及有效通道注意力（Effective Channel Attention，ECA）在精度上均有不同程度的下降，SE精度最低，下降了7.8%，ECA精度降低最少，下降了0.6%。以上注意力均基于通道信息建模各通道（特征图）之间的相关性，通过模型训练获取各通道的重要程度，以强化重要特征和抑制非重要特征。但由于异物目标尺度较小，在获取特征信息时高权重通道也包含大量非异物目标的冗余信息，影响模型的检测精度。

空间注意力（Spatial Attention Module，SAM）在原有精度基础上提高了1.2%，为每个位置生成权重掩膜并加权输出，从而增强感兴趣的特定目标区域并弱化不相关的背景区域。在异物目标尺度较小而背景区域较大的情况下，SAM重点关注存在异物目标的局部区域，因此能够提高异物目标的检测精度。

MHSA的精度最高，达到88.1%，模型文件最小，仅为14.4 MB，虽然图像处理速度最慢，为38 frame/s，但也达到了实时性标准。MHSA通过将原始特征图映射为4个向量分支，减少外部信息依赖，利用特征内部的固有信息进行注意力交互。首先，计算Q和K的相关性权重矩阵系数；其次，通过软操作对权重矩阵进行归一化；最后，再将权重系数叠加到Value上，以实现上下文信息的建模，有效地捕获长距离的特征依赖。在多个独立特征空间获取特征信息之后进行拼接，丰富异物目标的特征信息，保证模型的检测效果。

在CSPTNet最终模型基础上对比其他普通瓶颈模块，以验证Transformer特征嵌入和MHSA融合的有效性。本组实验在上述网络模型框架的基础上，添加不同瓶颈模块的模型进行性能对比。对比实验中，应用的瓶颈模块除自注意力特征嵌入瓶颈模块外，还有标准BottleNeck，CSPBottleNeck，GhostBottleNeck，精度对比结果如表6所示。

由表6可知，融合自注意力特征嵌入的Transformer瓶颈模块相比于标准BottleNeck、CSPBottleNeck和GhostBottleNeck具备更好的小尺度目标检测性能，权重大小相似，但是检测速度稍差一些。Transformer瓶颈模块通过位置信息嵌入和MHSA提高上下文信息的相关性，获取更加丰富的目标特征信息，提高了模型的定位和检测识别能力。CSPTNet最终的测试精度可达88.1%，与标准瓶颈模块相比，提升了5.7%。不同BottleNeck模块训练精度过程的可视化如图8（c）所示。

选择基于单阶段目标检测的YOLOv5，YOLOx，YOLOv3，YOLOv3-tiny，TOOD^［38］和VarifocalNet^［39］算法以及双阶段目标检测的Sparse R-CNN^［40］和Faster R-CNN算法与本文模型进行对比，以客观评价CSPTNet模型对夜间机场跑道异物检测任务的优越性。为保证实验结果的有效性，在同一配置设备上开展实验并使用同一数据集，算法性能对比如表7所示，可视化过程如图8（d）所示。

由表7可知，CSPTNet在9个异物类别上的平均精度达到88.1%，超过经典检测算法YOLOv3和Faster R-CNN以及最新提出的YOLOx，TOOD和VarifocalNet、Sparse R-CNN算法。本文算法在保持38 frame/s的实时性基础上，相比其他网络大幅降低了模型参数量，并且在多个异物类别上的检测识别准确率达到90%以上。综上所述，夜间机场跑道异物检测任务需要同时权衡模型平均检测精度、检测速度和模型权重，因此CSPTNet模型的鲁棒性更好，更适用于夜间机场跑道异物入侵检测任务。