融合细节特征与混合注意力机制的火灾烟雾检测

CSPDarknet53特征提取网络由Darknet53网络改进而来，其中包括5个CSPDarknet结构，对应输出5个层级不同尺寸的特征图。YOLOv4算法中提取3个高层的特征图将其输入至PANet中进行融合，最后经过YOLO Head结构得到输出结果。通用的目标检测算法旨在处理多类别的目标检测任务，底层的细节特征如纹理、边缘和轮廓等不足以有效区分不同类目标，因此也较少被直接用于表征目标特征信息。火灾烟雾检测是一种单类别目标检测，图像底层的细节特征有利于区分烟雾目标和图像背景；此外，常见的烟雾场景多样复杂，烟雾的扩散也会造成特征的不明显。为增强烟雾区域特征，设计了一个细节特征融合模块（Detailed Feature Fusion Module， DFF），通过统一特征图的尺寸将底层特征图和高层特征图在通道维度进行拼接，实现了细节特征与语义特征的融合，如图2所示。

图2  细节特征融合模块

Fig.2  Detailed feature fusion module

细节特征融合模块是由两个特征金字塔（Feature Pyramid Networks）^［27］结构组成的特征金字塔网络。两个特征金字塔分别为自顶向下（Top-down）支路和自底向上（Bottom-up）支路，同时接收底层特征图和高层特征图，对尺寸较大的底层特征图采用最大池化（Max Pooling）操作进行下采样，对尺寸较小的高层特征图以双线性插值法（Bilinear Interpolate）进行上采样，分别生成两个尺寸一致的特征图。常见的特征融合方式主要包括通道拼接、逐元素相乘和逐元素相加3种形式，为避免特征金字塔获取的细节特征被高层特征覆盖造成细节特征丢失，对生成的特征图采用通道拼接的方式进行融合，得到信息更丰富的强鲁棒性多尺度特征。以底层特征图和高层特征图分别经过两次下采样和上采样为例，细节特征融合模块可表示为式（1）：

其中：Fl和Fh分别表示输入特征金字塔底层和高层特征图；M(⋅)和B(⋅)分别表示最大池化运算和双线性插值，下标s和r表示下采样和上采样中的尺度因子；C(⋅)表示沿通道维度拼接操作，融合过程如图3所示。

图3  特征融合过程

Fig.3  Process of feature fusion

以实验中设置的输入图片尺寸（416，416，3）为例，CSPDarknet53特征提取网络共生成了5个尺寸分别为（208，208，64），（104，104，128），（52，52，256），（26，26，512），（13，13，1 024）的特征图，分别为scale1，scale2，scale3，scale4，scale5。scale5是CSPDarknet53网络经特征映射输出的最高层特征图，其通道维长度为1 024，具有丰富的语义信息；但是scale5特征图的分辨率较低，其长宽均为13，缺乏足够的细节特征。因此本文选择将scale5特征图同最底层特征图scale1相融合，使用最短路径引入细节特征，以获得更丰富的具有尺度差异的特征表达并尽可能保留原始特征，同理特征图scale2和scale4相融合。具体来看，DFF模块1同时输入特征图scale2和特征图scale4，首先分别对这两个特征图进行两次尺度因子为2的下采样和上采样，经过卷积操作将通道数调整为128，最后在通道维度进行拼接生成了尺寸为（52，52，256）的融合特征图；DFF模块2则对scale1和scale5特征图进行了融合，得到的融合特征图尺寸同DFF模块1。

具体参数设置如表1所示，s和r分别表示池化层的步长和双线性插值的尺度因子，c表示卷积层的输出通道数，括号内为当前的特征图尺寸。

通过细节特征融合可将烟雾图像底层细节特征引入高层特征图，但是通过通道拼接方式得到的特征图可能会带来冗余信息及无关背景信息，因此引入注意力机制对融合特征图进行权重重新分配，以提升烟雾特征的表达效果，增强网络特征表达的鲁棒性。注意力机制通过调整特征图的权重达到抑制无关区域特征和增强目标区域特征的目的，提高了网络的特征表达效果。卷积神经网络中的注意力机制可分为通道注意力机制、空间注意力机制和混合注意力机制3种。通道注意力和空间注意力分别在通道域和空间域对特征图加以权重，混合注意力机制则兼顾这两点。本文在此处采用的CBAM^［20］是一种典型的混合注意力机制，通过池化操作获得通道域和空间域权重，并以串行形式将这两部分权重与输入特征图进行逐元素相乘，如图4所示。

图4  CBAM结构图

Fig.4  Diagram of CBAM

通道注意力模块对特征图的空间维度进行压缩获得各通道的注意力权重，不同于此前的注意力机制，此处加入了最大池化以提取各通道间的差异性特征。首先通过对输入特征图进行最大池化和平均池化得到两个通道注意力描述子Fcavg∈R1×1×C和Fcmax∈R1×1×C，两个注意力描述子依次经过一个共享的多层感知机（Multi Layer Perceptron， MLP）、逐元素相加和Sigmoid激活函数得到最终的通道注意力图MC∈R1×1×C，如式（2）所示：

其中，W0、W1分别表示MLP的两层权重，σ表示Sigmoid激活函数。

空间注意力模块则通过在通道维度利用两种池化方法生成两个相应的空间注意力描述子Fsavg∈RH×W×1和Fsmax∈RH×W×1，并依次进行卷积和Sigmoid激活函数运算得到最终的空间注意力图Ms∈RH×W×1，如式（3）所示：

其中，f7×7表示卷积核大小为7×7卷积操作。整体可表示为式（4）：

其中，⊗表示逐元素相乘运算。

此外，为了缓解混合注意力机制中特征映射过程造成的特征丢失，避免出现网络退化问题，本文对输入混合注意力机制的特征图通过残差连接方式（Shortcut Connections）^［15］同混合注意力机制的输出特征图进行逐元素相加，如式（5）所示：

生成最终的残差混合注意力特征图F'''∈RH×W×C。

CBAM机制的细节特征融合模块（Detailed Feature Fusion module with CBAM， DFF-CBAM）由DFF模块和CBAM模块串联组成，如图5所示。DFF-CBAM模块中对DFF输出的特征图分别在通道域和空间域加以权重，融合了烟雾图像底层细节特征并对特征图通道间和空间位置的特征分布进行了学习，在烟雾特征得到进一步强化的同时对背景干扰信息进行了抑制，使得图像中烟雾区域特征对网络输出结果具有更大的贡献，得到了更具鲁棒性的特征表达。

图5  引入CBAM的细节特征融合

Fig.5  Detailed feature fusion module with CBAM（DFF-CBAM）

本文算法的网络结构如图6所示，算法的主干网络为CSPDarknet53特征提取网络，颈部由引入CBAM的细节特征融合模块（DFF-CBAM）和PANet组成，头部由YOLO Head组成。输入图像经CSPDarknet53得到5个不同尺寸的特征图，底层的特征图scale1和scale2分别通过DFF-CBAM模块与高层的scale5和scale4融合，得到的融合特征图引入了底层细节特征同时在空间域和通道域对权重进行了重新赋值，对图像烟雾区域特征进行增强，生成了信息更丰富且更具鲁棒性的特征表达。随后，融合特征图和CSPDarknet53输出的scale3特征图依次经过PANet和YOLO Head结构得到最终的多尺度预测结果。本文算法中提出的DFF-CBAM模块直接将底层特征图和高层特征进行融合，保留了更多的原始特征，得到了信息更丰富的融合结果。本文算法移除了SPP模块，减少了冗余操作并降低了模型参数量。

图6  网络整体结构

Fig.6  Structure of the proposed network

本文实验数据集主要选自实验室拍摄的火灾烟雾视频、公开数据集和互联网图片，通过手工标注为Psacal VOC格式的标签文件。数据集样本共包括不同场景和视角的火灾烟雾图像共9 097张，实验中划分测试集1 000张，训练集8 097张，训练时以0.2的比例随机选取验证集，实验中输入图片大小设置为416×416。

训练中采用自适应动量估计（Adaptive Moment Estimation， Adam）优化器，批量大小（Batch Size）设置为16，初始学习率设置为0.001，每个训练周期（Epoch）结束后学习率调整为上一次的0.92倍。

本文采用精确率（Precision）、召回率（Recall）和平均精确率均值（mAP）对模型进行评估，因本文检测目标为单类别目标，故mAP即为平均精确率（AP），公式如下：

式（6）是精确率的表达式，TP（True Positive）表示真正例，即预测正确的烟雾样本数量；FP（False Positive）表示假正例，即非烟雾样本被预测为烟雾的数量。式（7）是召回率的表达式，FN（False Negative）表示假负例，即烟雾样本被预测为非烟雾的数量。式（8）是平均精确率的表达式，R表示测试集中预测正确的烟雾样本总数；M表示测试集中样本总数；当第i个样本为正样本时，I_i为1，反之为0；R_i表示前i个样本中预测正确的烟雾样本个数。另外，本文采用每秒帧数（Frames Per Second， FPS）来评估模型的检测速度。

本文算法的检测结果示例如图7所示，包括了室内火灾烟雾、室内灯光干扰下烟雾、室外小目标烟雾、室外复杂背景烟雾、森林火灾烟雾和夜间火灾烟雾等常见火灾烟雾场景。结果表明，在多个实际场景中，本文算法均能以较高置信度准确检测出完整的烟雾目标。

图7  检测结果示例。（a）室内烟雾；（b）室内灯光干扰烟雾；（c）室外小目标烟雾；（d）室外复杂背景烟雾；（e）森林火灾烟雾；（f）夜间火灾烟雾。

Fig.7  Examples of detection results. （a） Indoor smoke；（b） Indoor smoke under light interference；（c） Outdoor small target smoke；（d） Outdoor smoke in complex background；（e） Forest fire smoke；（f） Night fire smoke.

实验中发现，部分室外烟雾目标易受类烟物体干扰，训练集的完备性也对网络训练有较大的影响，因此算法在少数测试样本上的检测结果并未达到预期。典型的未成功检测图像如图8所示，图中烟雾目标整体轮廓较模糊，且和昏暗的天空背景相连，难以有效区分；烟雾区域内多呈半透明的白色，缺少足够的纹理特征，易受植被和裸露的岩石等干扰。因此，在这种情况下，算法对于烟雾目标的整体把握较差，即使检测出的部分烟雾目标其置信度也较低，不能判定为成功检测。

图8  未成功检测图像

Fig.8  Image of failed to detection

为充分说明本文算法中设计和改进的模块对火灾烟雾检测效果的影响，设计消融实验以验证各模块的有效性，实验结果如表2所示。

消融实验中除YOLOv4算法以外均删去SPP模块。加入DFF模块后，在引入烟雾图像细节特征的同时也带来部分背景无关信息，使得算法精确率相比于YOLOv4算法下降了1.62%，但召回率提升了7.2%。加入CBAM模块后，算法更聚焦于烟雾目标区域，使得精确率相较于YOLOv4算法提升了1.16%，同时召回率也得到了提升。值得注意的是，实验中在删去SPP模块并加入CBAM模块之后，检测速度比原始YOLOv4算法更快，这也表明了CBAM机制在引入较少参数的情况下有效提升了模型性能。

为全面评估本文算法的有效性，设计实验与当前主流的深度学习目标检测算法和基于深度学习的火灾烟雾检测算法进行对比，实验结果如表3所示。

实验结果中，本文算法的精确率、召回率和平均精确率均优于对比算法，检测速度相较于改进前的YOLOv4算法略有下降，但优于两阶段目标检测算法。文献［29］和文献［30］分别基于单阶段算法SSD和YOLOv4针对烟雾检测任务进行改进，检测性能相较原始算法均有提升。其中文献［29］中采用了递进池化和反卷积操作指导特征提取和融合。文献［30］则采用嵌入通道注意力机制的方式增强了YOLO检测头的信息提取能力。

图9为YOLOv4算法和本文算法的PR曲线图，图中阴影面积即为平均精确率。通过细节特征融合和引入注意力机制，本文算法在相同实验条件下相比于YOLOv4算法的平均精确率提高了4.31%。

图9  PR曲线。（a） YOLOv4算法PR曲线；（b） 本文算法PR曲线。

Fig.9  PR curves. （a） PR curve of YOLOv4； （b） PR curve of proposed algorithm.

图10和图11分别为精确率曲线和召回率曲线图，计算精确率和召回率时设置置信度阈值为0.5。本文算法的精确率和召回率相比于YOLOv4算法分别提高1.21%和9.86%。图11的召回率曲线显示，随着置信度阈值的提高，本文算法的召回率相比于YOLOv4有了更大的提升，这表明本文算法对于难分烟雾样本有更好的检测效果。综合上述对比结果可知，本文算法在烟雾检测方面具有更好的性能。细节特征融合增强了烟雾图像的特征表达效果，提升了算法对烟雾目标的定位能力；同时注意力机制可抑制无关的图像背景特征并对烟雾特征赋予更大的权重，减少了检测结果中假负例的数量，从而使得召回率相比于改进前有明显提高。

图10  精确率曲线

Fig.10  Precision curves

图11  召回率曲线

Fig.11  Recall curves

为了进一步分析本文算法在烟雾图像特征表达上相较YOLOv4算法的优势，设计了特征图可视化对比实验并利用CAM^［31］方法绘制热力图。

图12是网络中5个层级特征图的可视化对比实验结果，分别为scale1、scale2、YOLO Head1、YOLO Head2和YOLO Head3，对应尺寸大小为（208，208），（104，104），（52，52），（26，26），（13，13）。特征图随着网络层数的加深尺寸逐渐变小，并在运算过程中逐渐将细节特征映射到高层语义特征。图12中本文算法的底层特征图相较于YOLOv4算法提取了更多明显的细节信息，如纹理和边缘轮廓等。随着感受野的增大，细节信息逐渐稀疏化，特征图分辨率降低，纹理和轮廓等愈发难以辨认，但是语义信息得到进一步增强，在目标区域中心形成聚焦并逐步映射至目标整体区域。在高层特征图中，得益于混合注意力机制对特征图空间维度和通道维度权重的重新分配，本文算法在烟雾目标中心区域产生了更高的激活值，且激活值的分布范围更符合实际图像中烟雾的分布。

图12  特征图可视化

Fig.12  Visualization of feature map

图13是两种算法的热力图对比实验结果，通过热力图可以看出，由于烟雾目标的视觉特征较差且烟雾背景复杂，两种算法在检测过程中均不同程度地受到了影响，YOLOv4算法在烟雾目标区域的激活值较低且分布较为杂乱，在背景区域的激活范围和强度明显高于本文算法，难以有效反映出真实烟雾目标位置；本文算法则相对更准确地在烟雾目标区域形成聚焦产生较高的激活值，并对背景区域的激活进行了抑制。由此可见，本文提出的基于注意力机制的细节特征融合方法有效增强了烟雾目标的整体特征，能够改善烟雾检测中烟雾目标特征不明显和背景复杂、干扰信息较多的问题。

图13  热力图对比

Fig.13  Comparison of heatmaps