Res2-Unet深度学习网络的RGB-高光谱图像重建

RGB-高光谱重建属于图像恢复范畴，而回归是解决图像恢复的常用方法。Unet^［16］网络是一种回归网络，最早用于医疗影像分割，包括编码网络和解码网络两部分。编码网络对输入图像进行多次卷积和池化操作，特征图的分辨率逐步变低，但特征图的通道数量不断增加，以达到整合多尺度上下文信息的目的。解码网络对特征图进行多次上采样和卷积操作，特征图的分辨率不断提高，最终恢复到原始图像的分辨率。不同于Segnet网络^［25］，Unet网络利用图像的多尺度信息在编码和解码通道之间使用跳跃连接融合图像的浅层与深层特征。Unet的编码网络部分采用VGG16作为主干网络，但是VGG16网络层数多、参数多，所以具有计算量大、训练收敛慢的缺点。为了解决这一问题，近年来一种结合ResNet^［26］和Unet的Res-Unet^［27］被提出，ResNet网络的残差结构不仅在不降低精度的情况下拥有较少的网络参数，而且可以克服梯度发散问题得到更快的收敛速度。

Res2Net是一种新颖的卷积神经网络模块架构^［22］，其结构如图1所示。它使用3×3群卷积层代替ResNet模块中的一个3×3卷积层，在物体检测、面部分析、边缘检测、语义分割、显著性物体检测和骨架检测中都能有效提升性能。在Res2Net模块中，输入经过1×1卷积后将特征图按通道平均分为s个子集。除了第一个子集外，其他每个特征图子集都要经过3×3卷积层处理。由于子集之间的连接操作，每一个3×3卷积层均接收到它之前所有特征图子集的信息，因此可以得到更大的感受野。Res2Net模块的输出包含了多种大小、尺度和数量的感受野及其组合。这种分组、合并的策略使得卷积层以更细粒度级别表达多尺度特征，能够更有效地处理特征图信息。参数s用于控制尺度维度，更大的s能提供更多不同尺寸的感受野，但同时也会增加计算量和内存消耗，一般选择s=4。

图1  Res2Net模块

Fig.1  Res2Net module

本文结合Unet和Res2Net的优势，提出了一种称为Res2-Unet的深度学习网络以解决RGB-高光谱重建问题。

Res2-Unet网络结构如图2所示，左侧是编码网络，右侧是解码网络，共4个尺度。在编码网络部分主要使用3×3卷积、Res2Net-SE和PixelUnShuffle^［28］等3种模块。

图2  Res2-Unet网络结构

Fig.2  Network architecture of Res2-Unet

首先，采用3×3卷积模块提取图像浅层特征。输入RGB图像x，进行128个通道的3×3卷积，即：

用卷积建模的多通道之间具有固定的隐式和局部性关系，而高光谱的多通道特性期望以显式方式改变通道之间的相互依赖性来增强对卷积特征的学习，以增强网络对捕获特征的敏感性。由于SE（Squeeze and excitation networks）模块^［23］具备全局信息嵌入和自适应激励调节功能，能有效解决通道依赖性问题，因此提出网络采用Res2Net-SE模块进行特征映射。Res2Net-SE模块结构如图3（a）所示，它在Res2Net模块基础上增加了SE模块。

图3  Res2Net-SE模块和SE模块

Fig. 3  Res2Net-SE module and SE block

SE模块首先使用全局平均池化层将全局空间信息压缩到通道域以实现空间信息的聚合。

其中：z（c）是通道c的全局平均池化结果，o（c，i，j）是通道c特征图在空间（i，j）处的值，H和W分别为特征图在行列方向的数据量。然后，使用ReLU和Sigmoid函数来获得通道之间的依赖关系，即：

其中：δ是ReLU函数，σ是Sigmoid激活函数，W₁∈R^C/r×C和W₂∈R^C×C/r是线性映射函数，r为压缩比，取32。

SE模块具备通道注意力机制，可以保护重要的通道特征。由于高光谱图像具备多通道特性，引入SE模块对高光谱图像的多通道数据重建调节具有一定的作用。因此，Res2Net-SE模块不仅可以在更加细粒度级别捕捉局部和全局的图像特征，同时残差连接也有助于增强上下文信息，且具备多通道自适应调节能力。于是Res2-Unet编码网络的第一尺度特征映射函数可表示为：

其中：F_map（1）（·）为第一尺度特征映射函数，它由两个Res2Net-SE模块级联得到，每个通道的特征图与原始输入图像具有相同的分辨率；F_Res2Net-SE（·）是Res2Net-SE模块的特征映射函数。不同于Unet，在Res2-Unet网络的第二尺度特征映射中采用PixelUnShuffle取代Maxpooling进行下采样。PixelUnShuffle的优势在于每经过一次操作后特征总量不发生变化，虽然特征图的分辨率降低1倍，但特征通道的数量会变为原先的4倍。Res2-Unet编码网络的第二尺度特征映射函数可表示为：

其中：F_map（2）（·）为第二尺度特征映射函数，F_PUS（·）为PixelUnShuffle操作。x₃每个通道特征图的分辨率为x₂的一半，通道数却增加了一倍。Res2-Unet网络的第三、四尺度特征映射采用与第二尺度特征映射一样的处理方法。

在解码网络部分，首先使用一个1×1的无填充卷积操作，对所有通道进行加权处理可获得更佳的深层特征信息表示。另外，使用PixelShuffle层进行上采样处理，与传统的最邻近或双线性上采样插值不同，PixelShuffle每经过一次操作后特征总量不发生变化，特征图分辨率提升1倍，特征通道数量变为原先的1/4，这样能有效地保留特征。网络的最后部分使用两个3×3卷积层将特征图映射到目标高光谱图像。

由于L₁损失函数对异常值不敏感，具有稳定的梯度，且相对其他传统损失函数产生较弱的空间纹理模糊现象，因此Res2-Unet网络使用L₁损失函数进行网络训练。L₁损失函数定义为：

其中：x和y分别是输入的RGB图像和参考的高光谱图像，G（·）是以上提出的重建网络Res2-Unet。

采用来自NTIRE 2020挑战赛提供的ARAD HS数据集^［8］对网络进行训练和测试。ARAD HS数据集分为两部分，一部分用于Clean赛道，另一部分用于Real World赛道。每个赛道均包含由450个RGB-HS图像对组成的训练集、10个RGB-HS图像对组成的验证集，而测试集中仅提供了10幅RGB图像，但与之对应的高光谱数据不可下载。因此，实验中将验证集中的10个RGB-HS图像对作为测试集。其中，高光谱图像由400~700 nm中31个波段的光谱图像组成，每个波段的图像尺寸为482×512像素，每个波段带宽为10 nm。Clean赛道中的RGB图像由对应的高光谱图像经过固定的光谱响应函数生成，如下：

其中：R为31×3的矩阵，是由相机的RGB三色光谱响应曲线^［29］离散化处理得到。Real World赛道中的RGB图像不仅由对应的高光谱图像经过固定的光谱响应函数进行变换处理，而且叠加了一定强度的高斯噪声用于模拟相机的电子噪声，并最终通过了去马赛克效应运算，整个处理流程更接近实际的RGB成像过程。以上所有的高光谱数据均经过归一化处理，数值为0~1。

NTIRE 2020挑战赛主要采用平均相对绝对误差（Mean of Relative Absolute Error，MRAE）和均方根误差（Root Mean Square Error，RMSE）来评价网络的高光谱图像重建性能，MRAE和RMSE的计算公式如下：

其中：yˆ=G(x)为网络生成的高光谱图像，y（b，i，j）是高光谱图像中第b个谱段图像中（i，j）位置的像素值，B是所有谱段数。为了避免因y（b，i，j）值为0而出现计算异常，在式（8）基础上增加一个小值ε，取值为10^-10。除此之外，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和光谱角制图平均值（Mean of Spectral Angle Mapper，MSAM）也是常用的评价指标。

其中：SAM（i，j）为图像（i，j）位置的光谱角：

MRAE，RMSE和MSAM越小，重建性能越好，而PSNR值越大表示重建性能越好。

除此之外，统计网络参数量用于评价网络计算空间复杂度。网络参数量越多表明存储网络所用内存空间越大。网络浮点运算数（Floating Point Operations，FLOPs）用于评价网络计算时间复杂度，FLOPs越大，网络运算耗时越长。

设计的网络使用Leaky-ReLU^［30］类型的激活函数，它相比ReLU具有更好的非线性性并可加速收敛。整个过程未采用BN操作，这是因为BN操作会破坏图像的对比度信息，不利于图像重建，且会导致训练速度缓慢，甚至训练发散。网络中的每个卷积层采用镜像填充的边缘填充方式，可以有效降低边界效应。

实验的所有网络训练和测试均是基于Pytorch深度学习平台，GPU是NVIDIA GeForce RTX 3090，每个网络训练10 000个Epoch，初始学习率为10^-4，每经过2 000个Epoch后学习率减半。训练过程中，Batch Size设置为16，参数优化算法使用Adam优化器，其中β₁=0.5，β₂=0.999，e=10^-8。