轻量化火星遥感影像超分辨率重建网络

图像金字塔主要有向下采样的高斯金字塔^［17］（Gaussian Pyramid）和向上采样的拉普拉斯金字塔^［18］（Laplacian Pyramid）两种类型，如图1所示。高斯金字塔本质上为信号的多尺度表示法，亦即将同一信号或图片多次进行高斯模糊，并且向下取样，以产生一幅图像在不同尺度下的表示G_i。拉普拉斯金字塔非常类似于高斯金字塔，由一系列残差图像构成，这些残差图像记录了高斯金字塔相邻两层的信息差值L_i（下采样后再上采样获得的图像与下采样前原始图像的差值）。

图1  图像金字塔示意图

Fig.1  Schematic diagram of the image pyramid

对于大小为R×C的数字图像I，高斯金字塔的定义为：G（I）=｛G₁（I），…，G_N（I）｝，其中G₁（I）=I是高斯金字塔的最底层即原图像，第N层为最高层即经过N-1次下采样的图像。由第L-1层图像G_L-1（I）生成第L层图像方式如式（1）：

其中：（i，j）表示像素，0<i≤R_L，0<j≤C_L，R_L为金字塔第L层图像的行数，C_L为金字塔第L层图像的列数，2≤L≤N；ω为高斯低通滤波器；（m，n）为高斯核大小。

拉普拉斯金字塔的定义为：L（I）=｛L₁（I），…，L_N-1（I）｝。第l层图像生成方式如式（2）：

其中：expand（⋅）是放大算子，⊗是卷积操作，ς5×5是5×5大小的高斯内核。

近年来，拉普拉斯金字塔结构被广泛应用于图像滤波^［19］、语义分割^［20］、图像融合^［21］、图像生成^［22］和图像超分辨率^{［16，23］}等视觉任务。

LRN以拉普拉斯图像金字塔为总体框架，融合了参数共享思想、递归思想、全局与局部残差学习思想和先计算后上采样策略，其整体结构如图2所示，该网络模型由浅层特征提取子网络（Initial Feature Embedding Sub-network，IFE）、深层特征提取子网络（Deep Feature Extraction Sub-network， DFE）和图像重建子网络（Image Reconstruction Sub-network， IR）三个子网络组成。

图2  LRN整体结构示意图

Fig.2  Overall network architecture of proposed LRN model

LRN以IFE为起点，对LR进行初步的特征提取如式（3），IFE包含一个卷积层（3×3 kernels， 64 feature maps， stride 1）。

其中：HIFE(⋅)表示对LR应用的浅层特征提取函数，ILR表示输入网络的低分辨率图像，x1sf表示被金字塔第一级IFE从LR提取出来的浅层特征图。

随后x1sf作为输入传入DFE，如式（4）所示：

其中：x1df表示金字塔第一级DFE输出的深层特征，HDFE(⋅)表示对x1sf应用的深层特征提取函数。HDFE(⋅)包含两个部分，第一个是fIS表示推断子网络（Inference Sub-network）函数，包含可进行参数共享的递归块（详见2.3节），负责将输入DFE的浅层特征进行深层次提取并推断丢失的高频信息；第二个是fup表示上采样函数，包含一个LReLU（leak=0.2）和一个转置卷积层（3×3 kernels， 64 feature maps，scale=2），输出2倍尺寸的特征图，作为输入传入IR并得到2倍SR如式（5）~式（8）：

其中：I2xSR代表2倍超分辨率图像；HIR表示图像重建函数；I2xLR表示2倍低分辨率图像；HL1代表金字塔第一级函数；I1r代表金字塔第一级残差图像即2倍残差图像；fres代表残差推断函数，包含一个卷积层（3×3 kernels， 64 feature maps， stride 1）；ftc表示转置卷积函数，包含一个转置卷积层（3×3 kernels， 64 feature maps，scale=2）。I1r由x1df经过一层残差推断卷积层得到，残差图像与低分辨率转置卷积而来的2倍低分辨率图像逐像素相加得到2倍超分辨率图像I2xSR。以上为金字塔第一级中2倍超分辨率图像的生成过程。

在金字塔第二、三级，与第一级不同之处在于4倍低分辨率I4xLR及8倍低分辨率图像I8xLR不是直接从低分辨率图像ILR转置卷积而来，而是由2倍和4倍超分辨率图像I2xSR和I4xSR转置卷积而来，使包含更多高频信息的I2xSR和I4xSR在残差学习中得到利用，如式（9）、（10）所示：

另一个不同之处在于金字塔二、三级的浅层特征x2sf和x3sf由前一级的深层特征x1df、x2df继承而来，如式（11）、（12）所示：

故4倍超分辨率图像I4xSR及8倍超分辨率图像I8xSR如式（13）、（14）所示：

将LRN与图像金字塔相对应可得，原高分辨率遥感影像及对其分别进行2倍、4倍和8倍下采样得到的低分辨率影像对应高斯金字塔的四层，I1r、I2r和I3r对应拉普拉斯金字塔的三个层级。LRN生成高质量超分辨率图像的关键在于残差图像的推断。残差图像应包含更多的ILR丢失的高频信息。此任务主要依赖于推断子网络输出的深层信息。

推断子网络结构如图3所示，由r个递归块组成，并且加入同源跳跃连接，使浅层特征在层级之间流动，使其信息得到更好地保留与利用。

图3  推断子网络结构

Fig.3  Architecture of inference sub-network

以拉普拉斯金字塔为框架的LRN网络在一次8倍超分辨率图像生成的前馈过程中就可以对LR产生2倍、4倍以及8倍的超分辨率结果，而不需要针对三种放大倍率准备三个不同的网络模型，故图像金字塔框架本身就是一种轻量化的框架。

本文所提LRN核心在于围绕参数共享思想进行的网络轻量化设计。LRN在两个层面进行参数共享，一个是级间参数共享，另一个是推断子网络内参数共享。

2.3.2　推断子网络内参数共享

推断子网络负责从浅层特征中提取出更深层次的特征图以进行残差推断，是LRN网络的核心结构，本文所提LRN由可以进行参数共享的递归块结构组成，设计了如下所述的三种不同的递归块。

2.3.2.1　块内共享递归块(Share in Recursive Block, SIRB)

SIRB结构如图4所示，由d层递归卷积层堆叠而成，每个卷积层前都有一个LReLU层，每个递归块内d个卷积层共用相同的权重参数，而递归块间的参数相互独立。使用SIRB作为递归块的LRN称为SILRN，本文实验中提到的SILRN每一级的推理子网络均由5个含有5层递归层的递归块组成。

图4  SIRB结构

Fig.4  Architecture of SIRB

2.3.2.2　全共享递归块(All Shared Recursive Block, ASRB)

ASRB与SIRB结构相同，不同之处在于递归块间也进行参数共享。使用ASRB作为递归块的LRN称为ASLRN，本文实验中提到的ASLRN每一级的推理子网络均由5个含有8层递归层的递归块组成。

2.3.2.3　深度递归块(Deep Recursive Block, DRB)

DRB结构如图5所示，在堆叠d层递归卷积层后，将每一层的输出进行级联，对级联形成的特征图阵的每一个通道乘以自适应权重ωi，再合并得到子网络输出。使用DRB作为递归块的LRN称为DLRN，本文实验中提到的DLRN每一级的推理子网络均由1个含有6层递归层的递归块组成。

图5  DRB结构示意图

Fig.5  Architecture of DRB

LRN使用Lai等人^［16］提出的Charbonnier损失函数作为损失函数，如式（15）：

其中：ρ(x)=x2+ε2−−−−−−√是Charbonnier惩罚函数，N是每批训练样本的图像数量，L是金字塔层数，yˆ是高分辨率图像，y是LRN生成的超分辨率图像，x是高分辨率图像经过下采样再上采样得到的低分辨率图像，r是LRN推断出的残差图像。ε设置为经验值10^-3。

本文实验在CPU为i7-8750H@2.20 GHz，GPU为8 GB显存的NVIDIA RTX2070的计算机上进行。实验平台搭载的操作系统为Win10、深度学习框架Matconvnet1.0、CUDA10.0。

本文选择了高分辨率成像科学实验相机^［24］（High Resolution Imaging Science Experiment，HIRISE）拍摄的火星遥感影像作为数据集，其分辨率为25~50 cm/pixel，实验将编号ESP_066115_2055的遥感影像切割成3 795张512×512的图像块作为训练集，并对编号为ESP_066194_2100和ESP_066828_2050的遥感影像进行相同操作，并从中选择20张作为验证集、60张包含平原、丘陵、山脉和陨石坑等多样地貌特征的火星遥感影像作为测试集，部分影像如图6所示。训练集、验证集以及测试集三个数据集无重复影像。

图6  火星遥感影像测试数据集示例图像

Fig.6  Sample images of Mars remote sensing image test dataset

本文使用峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）、结构相似性（Structural SIMilarity，SSIM）以及信息保真度准则（Information Fidelity Criterion， IFC）作为重建图像质量的客观评价指标。

为了增强网络的泛化性，在训练时使用数据增强来扩充训练集，主要包括三种方式：（1）下采样：对所有训练集图片进行随机下采样，采样因子范围为［0.5，1.0］；（2）旋转：对所有训练集图片随机旋转90°、180°、270°；（3）水平翻转：以0.5的概率水平翻转所有训练集图片。本文通过双三次插值算法对训练集进行下采样，从而产生低分辨率输入图像，原图作为真实高分辨率图像。

在所提出的LRN中，每个卷积层有64个大小为3×3的卷积核。本文使用He等人^［25］的方法对卷积核进行初始化。反卷积核的大小为4×4，权值由双线性滤波器初始化。所有卷积和转置卷积层（除重建层外）后面是负斜率为0.2的泄漏整流线性单元（LReLU）。在应用卷积之前，在边界周围填充零，保持所有特征图的大小与每个级别的输入相同以便于相加。

网络训练策略方面，本文提出的LRN使用随机梯度下降（Stochastic Gradient Descent， SGD）的策略来优化网络，其中SGD动量参数设置为0.9，权重衰减为10^-4。对于所有层，学习速率被初始化为10^-5，并且每50个Epoches将学习速率乘以0.8。由于GPU显存的限制，本文将训练数据集裁剪成128×128的图像块作为训练对象。

表1给出了ASLRN在8倍下对60张火星遥感测试影像进行超分辨率测试时PSNR、SSIM以及IFC三个客观评价指标的具体数值。表2给出了SILRN、ASLRN、DLRN、LapSRN、Bicubic等方法在2倍、4倍和8倍三种不同放大倍数下对测试集中60张火星遥感影像进行超分辨率重建时客观评价指标的平均值及相应参数量。实验中使用的LapSRN网络已按照原作者给出的训练参数使用与其他三种网络相同的火星遥感影像数据集进行重新训练以保证测试结果的公平性。

从表1和表2中可以看出本文所提的三种算法中ASLRN和SILRN以低于LapSRN的参数量在4倍和8倍超分下获得了更高的客观评价指标值。ASLRN以低于LapSRN一个数量级的参数量，在4倍和8倍超分下PSNR分别提高了0.031 3 dB和0.116 7 dB，SSIM分别提高了0.001 6和0.005 0，IFC分别提高了0.054 6和0.069 3。在2倍超分下ASLRN与LapSRN相比，PSNR提高了0.015 5 dB，SSIM相同，IFC差距小于0.1。可以认为三个倍率下ASLRN与LapSRN超分辨率结果无论是在像素水平上的灰度值差别还是视觉效果上都无明显差别。在SILRN参数量约为ASLRN三倍的情况下，认为ASLRN是一个有良好超分辨率重建效果的轻量化网络模型，在参数量低于LapSRN一个数量级的情况下得到了相似的网络性能。

总参数量方面，由于LapSRN三种不同放大倍率的模型间不共享参数，故总参数量为1 886 K，而ASLRN三种倍率只需一个网络模型就可以实现，故总参数量为75 K，仅为LapSRN的3.98%。

图7~9给出了SILRN、ASLRN、DLRN、LapSRN、Bicubic等方法在2倍、4倍和8倍三种不同放大倍数下对火星遥感影像测试集中部分影像的超分辨率重建效果及客观指标比较情况。从图中可以看出本文所提的三种算法中ASLRN和SILRN以低于LapSRN的参数量在不同重建倍数下得到了与LapSRN无明显差别的超分辨率视觉效果，DLRN重建效果略差。

图7  第54幅火星遥感测试影像2倍超分辨率重建结果对比

Fig.7  Super-resolution results comparison of the No.54 Mars remote sensing test image for scale factor ×2

图8  第59幅火星遥感测试影像4倍超分辨率重建结果对比

Fig.8  Super-resolution results comparison of the No.59 Mars remote sensing test image for scale factor ×4

图9  第26幅火星遥感测试影像8倍超分辨率重建结果对比

Fig.9  Super-resolution results comparison of the No.26 Mars remote sensing test image for scale factor ×8