改进的CycleGAN网络用于水下显微图像颜色校正

CycleGAN^［12］是由两个镜像的生成对抗网络（Generative Adversarial Network， GAN）^［13］构成的环形网络结构，主要包括两个生成器、两个判别器，损失函数不仅有生成对抗损失，还加入了循环一致损失（Cycle-consistency Loss）。该网络首先学习源域X到目标域Y之间映射，然后又能从目标域Y中还原回来，有效完成了非配对数据集在图像颜色和纹理方面的转换任务，具体过程如图1所示。

图1  循环一致性对抗网络结构

Fig.1  Structure of cycle-consistent adversarial network

以图1（a）正向网络为例，在正向网络中生成器G将源域X中数据x映射到目标域Y中y˜，鉴别器D_Y对生成图像y˜做出判断；再通过生成器F将其还原成为域X中数据x̃，而循环一致性损失则是为了让x和x̃尽可能相同。同理，目标域Y到源域X的转换与上述过程相同。生成器G和判别器D_Y之间的损失函数定义如下^［12］：

其中，X，Y分别代表源域和目标域，x∊X，y∊Y，P_data（x）为源域X的数据分布，P_data（y）为目标域Y的数据分布，Ey~Pdata(y)代表y服从P_data（y）的情况下求期望，Ex~Pdata(x)代表x服从P_data（x）的情况下求期望。

同样，生成器F和判别器D_X之间的损失函数可以表达成如下形式^［12］：

为避免源域X中部分图像映射为目标域Y中同一图像的情况发生，CycleGAN引入循环一致性损失（Cycle-Consistency Loss）函数用于计算x和x̃之间的损失。利用F（G（x））≈y和G（F（x））≈x定义循环一致性损失L_cyc如式（3）^［12］：

通常自然图像是高度结构化的，降质的水下图像的像素与空气中标准图像的像素之间存在很强的相关性。特别是在空间环境相似的情况下，这些相关性携带着视觉场景中物体结构的重要信息。文献［14］在CycleGAN网络结构中引入结构相似性（Structure Similarity Index Measure，SSIM）损失函数^［14］，其中，SSIM可以从亮度、对比度和结构三方面度量图像x和图像y的相似性，其定义如公式（4）所示：

其中：μ_x为x的均值，μ_y为y的均值，σ_xy为x，y的协方差，σ_x²为x的方差，σ_y²为y的方差，c₁，c₂为常数。

文献［14］在CycleGAN网络中加入结构相似性损失函数的目的就是使生成的空气中图像和输入的水下颜色失真图像，在纹理结构、亮度和对比度上保持一定程度的相似性。但是，输入的水下失真图像一般对比度和亮度较低，且颜色失真严重，用该失真图像去校正生成的空气中图像，效果未必理想。本文希望生成的空气中图像在颜色和对比度方面都可以得到进一步增强。

受此启发，本文使用的SSIM损失函数只是限制输入的原始水下降质图像X和重构的水下图像Xˆ在颜色和边缘纹理结构上保持一致性。所以，在彩色图像X和Xˆ的R、G、B三个通道上分别计算SSIM损失函数的值。然后将三个通道的SSIM值取平均值，得到最终的SSIM值。该改进可以加强对水下降质图像R、G、B三通道颜色的精准校正，进一步增强CycleGAN网络的性能，改进的网络结构如图2所示。

图2  改进的循环一致对抗网络结构

Fig.2  Structure of improved cycle-consistent adversarial network

综上，输入图像X和重构图像Xˆ之间的损失函数可被定义为：

其中，

（6）

其中：N为一幅图像中像素个数，P为图像中心像素值。

改进后的CycleGAN网络总损失函数为对抗损失、循环一致损失、结构相似损失三部分的加权组合：

这里将权重系数λ与β赋值为1。

经典的CycleGAN网络呈镜像结构，主要由两部分构成，每部分都是基于GAN的子网络。每个GAN网络的生成器均由编码器、转换器以及解码器构成。本文使用的生成器网络结构如图3所示。

图3  生成器网络结构

Fig.3  Structure of generator network

图3中编码器由三个卷积层构成，可用来提取源域图像的不同特征；解码器由三个转置卷积层构成，通过特征向量完成对图像的重构，在编码器和解码器之间还添加了9个残差块（Residual Block）^［12］构成转换器，组合图像的不同相近特征。

本文中GAN网络的判别器采用原网络中70×70的PatchGAN^［12］，可以同时判别图像中多个70×70图像块真假，把所有图像块的判定结果的平均值作为图像真假的判定结果，判别器网络结构如图4。

图4  判别器网络结构

Fig.4  Structure of discriminator network

为研究水下显微成像过程及其影响因素，在显微成像的光学结构基础之上，搭建了如图5所示的水下显微成像系统。该系统由图像采集模块、照明模块和显微成像模块构成。

图5  水下显微成像系统装置简图

Fig.5  Device diagram of underwater microscopic imaging system

图像采集模块主要采用了一台200万像素的彩色相机（BFLY-PGE-23S6C-C）对水下目标物进行高分辨率的彩色成像。照明模块由白色的环形LED光源及光源控制器构成，为水下显微成像提供所需的均匀照明环境。显微成像模块由显微物镜（5×）和管透镜（1×）组成，以实现对水下目标的显微成像，本文实验基于此套系统对水下目标物进行显微图像采集。

为了更好地模拟复杂海水环境以及悬浮颗粒对光的强散射与强吸收作用，文中在实验室条件下制备了模拟水体，即通过向清水中加入脱脂牛奶模拟海水的散射作用，脱脂牛奶主要含有酪蛋白分子，其平均直径在0.04~0.3 nm之间，可模拟瑞利散射的机制^［15-16］；向清水中掺入具有特定光吸收特性的墨水来模拟海水对光的吸收效应。实验中选用的是法国J. Herbin D系列彩色染料墨水^［17］。

如图6所示，在实验中所用照明光源波长范围内，该染料墨水的吸收光谱相对值曲线与海水的吸收光谱特性曲线的变化趋势较为类似，均存在一个“海水透光窗口”，其所覆盖的波长范围为430~570 nm。实验所用照明光源的波长范围都在650 nm以下，避免了曲线特征变化趋势不相似的波长区域。因此，墨水在长波长与海水吸收的差异不影响实验中对海水吸收特性的模拟效果。综上，脱脂牛奶和染料墨水可以很好地模拟复杂海水环境的强吸收与强散射特性。

图6  典型的海水和蓝绿染料墨水的吸收光谱

Fig.6  Absorption spectra of typical seawater and blue-green dye inks

在样品的选择方面，由于天然岩石标本颜色种类单一，水下矿物样品难以获得，无法满足训练要求，为了增加训练神经网络的泛化能力。采用Photoshop软件中的颜色库PANTONE+Color Bridge Uncoated制作了颜色形状种类丰富的水下目标物标靶，并以此作为训练网络模型的训练数据集，部分自制标靶图像如图7所示。

图7  部分自制标靶图像

Fig.7  Some self-made target images

利用改进的CycleGAN算法对自制的水下目标物标靶数据集进行训练处理；同时，为了对比处理效果，本文采用传统图像处理方法中的带色彩恢复系数的多尺度Retinex算法（Multi Scale Retinex With Color Restoration，MSRCR）^［18-19］对目标物进行处理，结果如图8所示。

图8  不同算法处理水下自制标靶图像结果

Fig.8  Results of underwater self-made target images processed by different algorithms

从主观视觉角度可以看出，图8中带色彩恢复系数的多尺度Retinex算法（MSRCR）处理后的图像，存在明显的颜色过饱和现象，与空气中的目标物图像颜色差距较大。在迭代次数和学习率相同情况下，原始的CycleGAN网络处理后的水下图像在照明不足部分（暗区域）出现了大量伪色彩，且存在图像颜色复原失真现象，图像颜色恢复较原图存在很大的差距。与此相比，改进后的CycleGAN处理的水下图像颜色恢复得更加接近空气中的原图，图像亮度得到明显提升，且图像周围的干扰噪声得到了有效抑制，网络模型训练更加稳定。从图8中可发现，实验采集的水下图像普遍呈现蓝绿色调，主要是由于模拟水体对可见光波段的强吸收具有明显的波长选择性，表现为短波长比长波长吸收少。此外，由于脱脂牛奶中酪蛋白分子产生强烈的后向散射效应，导致水下图像表面呈现“雾化”效果。经本文算法处理后，以上两种现象也得到了明显改善。

本文利用训练好的改进CycleGAN网络对天然矿石的水下降质图像进行了处理。所选用天然矿石为斑点石（Dalmatian）、花绿石（Unakite）、图画石（Picture Jasper），这几种矿石的表面颜色和纹理均有较为明显的区别。通过对天然矿石特征区域的显微图像进行处理，得到如图9所示的实验结果。

图9  不同算法处理水下天然矿石图像结果对比

Fig.9  Comparison of underwater natural stone images processed by different algorithms

从以上处理结果可以看出，带色彩恢复系数的多尺度Retinex算法（MSRCR）处理后图像虽然亮度得到明显提升，但颜色恢复效果不佳。改进后的CycleGAN算法图像颜色恢复得更加自然真实，图像亮度有了很大改善，纹理边界更加清晰，颜色上也更加接近空气中的原图。

为了更加客观地说明本文算法对水下显微图像处理的适用性和优越性，本文通过客观评价指标峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和SSIM^［20］，以及水下彩色图像质量评价指标 （Undewater Color Image Quality Evaluation， UCIQE）^［21］对不同算法处理后的水下显微图像进行定量分析比较。

要计算PSNR必须先计算当前图像和参考图像的均方误差（MSE）。假设两幅图像X和Y，他们的分辨率均为m×n，则它们的均方误差可以定义为：

则峰值信噪比PSNR可通过MSE得出来：

其中：MAX_I代表图像像素点的最大值，MSE的值越小，PSNR越大，说明处理后图像的质量越好。

UCIQE是用CIELab空间的色度、饱和度、对比度三者的加权组合来评价图像质量，其定义为：

其中：σ_c是色度的标准差，con_l为对比度，μ_s是饱和度的平均值，c₁，c₂，c₃是加权系数。

通过客观评价指标对水下目标物图像进行处理，得到如表1所示的客观评价结果。

从表1中可以看出改进的CycleGAN算法处理后的水下图像的PSNR、SSIM指标均好于CycleGAN算法，改进的CycleGAN算法的UCIQE指标与空气中标准图像的UCIQE指标的差值最小，即改进的CycleGAN算法处理后的水下图像更加接近空气中的标准图像；MSRCR算法处理结果中的UCIQE差值在几种算法中最高，即该算法处理后的水下图像与空气中的标准图像相去甚远，且PSNR和SSIM指标也不及前者；评价指标的客观评价结果与主观视觉感受相符。