基于双专用注意力机制引导的循环生成对抗网络

作者：劳俊明叶武剑刘怡俊袁凯奕来源：《液晶与显示》日期：2022-08-11人气：1501

图像到图像的转换任务一直以来都是人们的研究热点，其目标是建立图像源领域到目标领域的映射，被广泛应用于图像超分辨率重建^［1］、风格迁移^［2］、图像着色^［3］、图像去雾^［4］等多个领域。

2014年，基于博弈思维的生成对抗网络^［5］开辟了一个新的研究领域，大为促进了图像转换领域的发展。此后，诞生了一系列优秀的图像转换算法，例如Pix2pix^［6］、DualGAN^［7］、DiscoGAN^［8］、UNIT^［9］、MUNIT^［10］、DRIT^［11］、 CycleGAN^［12］等算法。其中，Pix2pix算法属于有监督的图像转换算法，该算法需要匹配的图像组才能完成图像转换的任务，然而，匹配的数据集制作难度较大、成本较高。为了实现无配对图像之间的转换，DualGAN、DiscoGAN以及CycleGAN等网络模型引入了循环一致性约束。实验结果表明，上述模型在无匹配的图像转换任务取得了较好的效果。尽管CycleGAN等算法在无匹配的图像转换任务表现优越，但是，由于生成器既需要维持图像背景区域不变，又要对目标前景进行转换，从而导致生成器对目标图像转换的效率低下。

近年来，注意力机制在深度学习中的应用引起了研究人员的高度重视，为解决CycleGAN网络等算法存在的问题，研究人员相继提出了基于注意力机制的无匹配图像转换算法UAIT^［13］、Attention-GAN^［14］、SAT^［15］等，但上述算法将独立的通用注意力结构加到生成器网络中，使得模型的整体结构变得非常庞大，导致其训练时间变长，而且也难以关注到图中关键区域的所有细节。AttentionGAN^［16］提出了专用注意力机制与生成器共享编码器的结构，虽然能够缩小整体的网络结构大小，但是，由于鉴别器没有注意力机制引导，从而引入背景元素的干扰，影响了生成图像的质量。U-GAT-IT^［17］提出了基于类激活CAM^［18］注意力机制引导的生成器和鉴别器，虽然提升了成像质量，但整体网络的判别器需要从2个增加至4个，不仅大幅增加了模型的复杂度，并且其提出的基于CAM注意力机制引导的生成器不够优越，仍然会对整体图像进行修改，图像转换效率不高，图像生成质量仍然有提升的空间。

2 基本原理

为解决上述存在的问题，本文提出了一种新的用于无匹配图像转换任务的循环生成对抗网络（Dual-SAG-CycleGAN），采用不同的专用注意力模块分别引导生成器和判别器，达到提升生成图像质量同时降低模型复杂度的目的。

本文的贡献具体如下：（1）提出了一种名为SAG的改进专用注意力模块来引导生成器工作，其中，生成器结构由内容图生成子模块与注意力掩码图生成子模块组成，两者高度共享参数权重。（2）为减少生成器对无关内容的生成以及削弱判别器对背景元素的判断，本文引入了基于CAM注意力模块引导的鉴别器。（3）为了生成更加精准的掩码图来辅助图像转换，本文提出了背景掩码循环一致性损失函数约束掩码生成器的工作。图1所示为本文所提出的模型以及现有对比模型在马转斑马任务上的生成效果图。

图1 不同模型在马转斑马任务上的表现。（a）原图；（b）CycleGAN；（c）UNIT；（d）MUNIT；（e）DRIT；（f）本文模型。

Fig. 1 Performance of different models on the horse to zebra task. （a） Origin image；（b） CycleGAN；（c） UNIT；（d） MUNIT；（e） DRIT；（f） Ours.

2.1　整体框架

图2是本文所提出的基于双专用注意力机制引导的循环生成对抗网络的示意图。本文在CycleGAN整体网络框架的基础上分别对生成器和判别器采用不同的注意力机制进行引导，其中，生成器采用本文提出的SAG专用注意力机制进行引导，鉴别器使用了基于CAM技术的专用注意力机制进行引导，两者构成紧密的整体。SAG专用注意力机制引导生成器修改图像的目标前景，而CAM专用注意力机制则引导鉴别器关注两组图像之间差异最大的部分。

图2 网络示意图

Fig. 2 Network diagram

图3为本文的整体框架图。在图像与图像转换的任务中，通常有两组不同的图像领域，其目标是得到域与域之间的映射。为了达成该目标，网络中需要两组对称的生成器与鉴别器，如图3所示，一组生成器 $G$ 的功能是将 $X$ 域（马）图像生成至 $Y$ 域（斑马）图像，该组的鉴别器 $D_{Y}$ 则将生成器生成的 $G (Y)$ 域（斑马）与真实的 $Y$ 域（斑马）区分开来。同样，第二组生成器 $F$ 的功能是将 $Y$ 域（斑马）图像生成至 $X$ 域（马）图像，该组的鉴别器 $D_{X}$ 则将生成器生成的 $F (X)$ 域（马）与真实的 $X$ 域（马）区分开来。

图3 整体框架示意图

Fig.3 Overall framework

为了防止网络在转换过程中，出现将 $X$ 域（ $Y$ 域）所有图像都映射到 $Y$ 域（ $X$ 域）中同一张图片的情况，本文与CycleGAN一样，引入了两个循环一致性损失。所谓循环一致性损失就是 $X$ 域的图像经过生成器 $G$ 转换至 $Y$ 域后，仍然可以通过生成器 $F$ 恢复至原来的 $X$ 域中，并且经过恢复的图像与原图之间差异不能过大，即前向映射 $x \to G (x) \to F (G (x)) \approx x$ 。同样，反向映射 $y \to F (y) \to G (F (y)) \approx y$ 亦是如此，本文遵循了CycleGAN的整体基本原理。

由于在前向或反向循环映射过程中，需要修改各自的目标前景相同，即各自的背景掩码一致，故本文引入循环一致性损失函数约束掩码生成器的工作，使其生成更加精准的掩码图来辅助图像转换。通过两组对称的生成器与鉴别器动态博弈，最终得到相对理想的 $X$ 域与 $Y$ 域之间的映射。

2.2　基于SAG专用注意力引导的生成器

图4为本文所设计生成器 $G$ 详细结构，其中，卷积函数后的数字分别为特征输出通道数、卷积核大小、步长、四边填充行数，受X. Chen^［14］以及T. Hao^［16］所启发，本文将X. Chen^［14］所设计的独立内容生成器和注意力掩码生成器与T. Hao^［16］共享编码器的思路结合在一起，提出了一个新的生成器结构。其中，内容生成子模块与注意力掩码生成子模块形成高度共享参数的一个整体结构，使得网络不仅共享编码器，并且也共享解码器的一部分。这样设计的优点以及依据在于，由于生成器最终需要修改目标前景并且维持背景图像不变，所以内容生成器与注意力掩码生成器之间具有非常相似的任务，区别在于内容生成器生成三维的目标前景图像矩阵，而注意力掩码生成器生成一维的目标前景掩码图像矩阵。采用内容生成器与注意力掩码生成器高度共享权重参数的方式不仅能够大幅降低模型的参数量以及复杂度，而且使得图像映射的效率更高，网络学习的速度也更快。

图4 基于专用注意力机制引导的生成器G结构

Fig.4 Structure of generator G based on special attention mechanism-guide

与其他基于注意力机制引导的模型相比，本文设计的基于专用注意力引导的生成器高度共享模型参数的结构，模型计算复杂度更低，而且由于我们的内容生成子模块卷积输出27维图像矩阵，相较于其他模型直接输出3维图像矩阵来说，可计算的映射路径更多。对于复杂场景下的图像，由于注意力机制的引入，使得网络只需要专注于生成前景目标，所以映射更加简单，网络更容易收敛，其生成图像细节更好。

由图4可知，一个生成器能够生成内容图（ $C_{Y}^{f} (x)$ 或 $C_{X}^{f} (y)$ ）和注意力掩码图（前景掩码图 $A_{Y}^{f} (x)$ 或 $A_{X}^{f} (y)$ 以及背景掩码图 $A_{Y}^{b}$ 或 $A_{X}^{b}$ ），内容图与前景注意力掩膜相乘产生前景图，背景注意力掩膜与输入图像相乘产生背景图，而前景图与背景图相加可以得到最终的输出图像，其中， $x$ 和 $y$ 代表两组不同的图像矩阵。因为生成器 $G$ 与 $F$ 具有相同的结构，故所生成的图像可由式（1）、式（2）表示，其中，我们将 $N$ 设置为10，则 $N - 1 = 9$ ，表示输出9维的内容图像矩阵与相对应的前景掩码图像矩阵进行相乘运算后进行累加， $b$ 为常数1：

（1）

（2）

同样，在 $x \to G (x) \to F (G (x)) \approx x$ 以及 $y \to F (y) \to G (F (y)) \approx y$ 图像的循环一致性映射中，生成器 $F$ 与 $G$ 生成的图像可由式（3）、式（4）表示：

（3）

（4）

2.3　基于CAM专用注意力引导的鉴别器

为了防止判别器对生成图像的背景元素进行判断，减少生成器对无关或者虚假内容的生成，本文采用了U-GAT-IT中的鉴别器结构，如图5所示，其利用了辅助鉴别器基于类激活图CAM的原理对前景目标进行权重加权，影响最终鉴别器的输出，其中，卷积函数Conv后的参数分别为特征输出通道数、卷积核大小、步长、四边填充行数。

图5 基于专用注意力机制引导的鉴别器结构

Fig.5 Structure of discriminator based on special attention mechanism-guide

鉴别器的整体由辅助鉴别器以及最终鉴别器组成，两者同样高度共享权重参数。其中，辅助鉴别器的构成与传统的判别器一致，经过多层卷积提取特征后，通过池化层计算后，再通过全连接层后输出大小为 $1 \times 1 \times 1$ 的判别结果矩阵，将两个 $1 \times 1 \times 1$ 的判别结果矩阵拼接在一起，形成 $2 \times 1 \times 1$ 大小的辅助鉴别判断矩阵输出，从全局的方式去判断图像的真伪，维持生成目标的整体形状。而最终鉴别器的构成则与CycleGAN的判别器相似，从局部的方式去判断图像中每一小块的真伪，其最终输出大小为 $30 \times 30$ 的判断结果矩阵，能够保持生成目标纹理的高细节、高分辨率。

最终鉴别器通过辅助鉴别器的卷积层、池化层以及全连接层计算后，从全局的方式利用CAM的原理来得出对目标前景加权的矩阵，再与相应的特征矩阵相乘后得到注意力特征矩阵，进而输入到最终判别器进行进一步的特征提取，使得最终判别器进一步收敛至判断前景目标而不是背景元素。

由图5可知，本文采用的基于注意力机制引导的鉴别器结构具有两组输出，其中， $η D_{X}$ 或 $η D_{Y}$ 为辅助鉴别器输出，它能够从全局的形式来判断图像的真伪，由辅助鉴别器构成的生成对抗损失函数的数学表达式由式（5）以及式（6）表示。其中， $x$ 和 $y$ 是真实的图像， $P_{d a t a} (x)$ 和 $P_{d a t a} (y)$ 表示真实图像的样本分布， $x ~ P_{d a t a} (x)$ 和 $y ~ P_{d a t a} (y)$ 表示样本 $x$ 、 $y$ 随机地从 $P_{d a t a}$ 分布中取出， $E$ 则为求解数学期望。

（5）

（6）

要获得相似的样本分布，鉴别器 $D$ 应当分辨出真实的图像与生成器 $G$ 、F生成的虚假图像，也就是 $η D_{Y} (G (x))$ 及 $η D_{X} (F (y))$ 的值要接近0， $η D_{Y} (y)$ 及 $η D_{X} (x)$ 接近1，即 $L_{C A M} (G, η D_{Y}, X, Y)$ 越大越好；而生成器G则应当使生成的图像尽量可以骗过鉴别器，即 $η D_{Y} (G (x))$ 及 $η D_{X} (F (y))$ 的值要接近1，也即 $L_{C A M} (G, η D_{Y}, X, Y)$ 越小越好，该最优值为0.5。

最终鉴别器输出所构成的生成对抗损失函数与CycleGAN一致，其数学表达式如式（7）和式（8）所示，类似的原理已在式（5）和式（6）处进行了详细的解释，故在此不再重复描述。

（7）

（8）

2.4　注意力引导下的循环一致性损失函数

为了防止网络在转换图像过程中，出现将 $X$ 域（ $Y$ 域）所有图像都转换到 $Y$ 域（ $X$ 域）中同一张图片的情况，我们引入了CycleGAN的循环一致性损失函数，其数学表达式由式（9）表示，其中， ${‖F (G (x)) - x‖}_{1}$ 及 ${‖G (F (y)) - y‖}_{1}$ 表示的是对模型循环复原后的图像与原图像进行L1范数的求解， $L_{c y c l e} (G, F)$ 的值越小越好。

（9）

由于在 $x \to G (x) \to F (G (x)) \approx x$ 循环一致映射中，本文希望图像能够从 $X$ 域转换到 $Y$ 域的背景掩码图与从 $Y$ 域恢复至 $X$ 域的背景掩码图保持一致，这样注意力掩码生成子模块能引导生成器更加精确地修改需要转换的目标。受循环一致性损失函数所启发，本文提出了针对于背景掩膜的循环一致性损失函数，其数学表达式如式（10）所示，该损失值越小越好。

（10）

2.5　优化目标

上文介绍了各部分的损失函数，而模型完整的损失函数方程由6部分组成，如式（11）所示，分别为 $X$ 域、 $Y$ 域最终鉴别器的生成对抗损失； $X$ 域、 $Y$ 域辅助鉴别器的生成对抗损失；整体图像的循环一致性损失以及背景掩码的循环一致性损失。

（11）

在图像转换任务中，要获得相似的样本分布，生成器 $G$ 、 $F$ 应当使生成的图像可以骗过鉴别器，而最终鉴别器 $D_{X}$ 、 $D_{Y}$ 以及辅助鉴别器 $η D_{X}$ 、 $η D_{Y}$ 则应当准确分辨出真实的图像与由生成器 $G$ 、 $F$ 生成的虚假图像，因此，生成器与鉴别器形成了对抗的关系。对于鉴别器 $D_{X}$ 、 $D_{Y}$ 、 $η D_{X}$ 以及 $η D_{Y}$ ，本文希望其辨别真实图像与生成器生成虚假图像的能力得到最大的提升，即为最优的鉴别器。在最优鉴别器的条件下，生成器 $G$ 、 $F$ 的优化目标是最小化图像的真实分布与模型生成图像分布之间的JS散度，以获得最优的图像转换映射路径，同时本文希望循环一致性损失函数值最小。因此，本文网络的整体优化目标方程如式（12）所示：

（12）

3 实验分析

3.1　基准模型

本文对两大类无匹配图像转换算法进行对比，一类为无注意力机制引导的图像转换模型，包括DualGAN^［7］、DiscoGAN^［8］、UNIT^［9］、MUNIT^［10］、DRIT^［11］、CycleGAN^［12］、RA^［19］；另一类为有注意力机制引导的图像转换模型，主要有UAIT^［13］、Attention-GAN^［14］、SAT^［15］、AttentionGAN^［16］、U-GAT-IT^［17］、DA-GAN^［20］、TransGaGa^［21］等模型。

3.2　数据集

本文采用3组无匹配的图像数据集对模型进行训练与测试，各个数据集的详细情况如表1所示。

表1 各数据集详细信息

Tab.1 Details of each dataset

数据集	训练集/张	测试集/张	总计/张
Horse2Zerba^［12］	2 041	260	2 661
Apple2Orange^［12］	2 016	514	2 530
Selfie2Anime^［17］	6 800	200	7 000

3.3　参数设置

在训练阶段，本文对训练集图像进行随机水平翻转和裁剪为 $256 \times 256$ 大小的操作。在测试阶段，本文将测试集图像缩放至 $256 \times 256$ 大小。与CycleGAN一样，本文使用Adam optimizer^［12］进行优化，动量参数组设置为 $β_{1} = 0.5$ ， $β_{2} = 0.999$ ，Batchsize设置为2，学习率为0.000 2，采用线性衰减策略。本文的超参数设置为 $α = 12.0$ ， $λ = 1.0$ 。

3.4　评价指标

3.4.1　生成图像质量评价

Kernel Inception Distance（KID）^［22］指标通过计算原始表征之间最大均值差异的平方来度量真实样本与假样本之间的差异，越低的KID参数表示两组样本之间越相似。Frchet Inception Distance（FID）^［23］指标使用Inception V3模型来提取图像的高级语义信息，通过计算真实图像与生成图像提取特征向量后的均值以及协方差距离来衡量生成对抗网络生成图像的质量以及真假图像的相似性。当生成的图像与真实的图像特征越相近时，FID数值越小。

3.4.2　模型复杂度评价

浮点运算Floating Point Operations（FLOPs）以及乘加运算Multiply Accumulate Operations（MACs）是常用的模型复杂度统计指标，它们能够统计数据通过网络模型所需要计算量的大小，即启用该模型时所需要的计算力。Parameters模型参数量也是描述模型复杂度的指标之一， Times为模型运行时实际消耗时间而Memory为模型训练时占用的实际显存空间，三者的数值越小，代表模型越优越。

3.5　消融实验

图6为有无本文专用注意力机制引导的生成器、鉴别器以及背景掩码的循环一致性损失函数对生成图像的影响。在上述选项中，无本文专用注意力机制引导的生成器、鉴别器分别表示使用CycleGAN的生成器、鉴别器，而无背景掩码的循环一致性损失函数则表示不引入本文所设计的背景掩码的循环一致性损失函数。

图6 有无本文生成、鉴别器以及背景掩码循环一致性损失函数对生成图像质量的影响。（a）原图；（b）无专用注意力引导的生成器；（c）无专用注意力引导的鉴别器；（d）无背景掩码循环一致性损失函数；（e）三者都有。

Fig. 6 Effect of the generated image’‍s quality that with or without our generator， discriminator and cycle consistency loss function background mask. （a） Original image；（b） Generator without special attention-mechanism guided；（c） Discriminator without special attention-mechanism guided；（d） Without cycle consistency loss function of background mask；（e） All of three factors.

由图6（b）可以观察到，当不使用本文的专用注意力引导的生成器时，图像的背景会被大幅度地修改，且前景目标的生成质量非常低。而当不使用本文的专用注意力引导的鉴别器时，在训练过程中，当鉴别器无法分辨生成器所生成的前景目标时，就会通过背景元素进行判断，这时候鉴别器也会引导生成器生成背景元素，如图6（c）所示，由于判别器对背景中的天空和海水进行判断，所以引导了生成器生成虚假的内容。由图6（d）观察到，当不引入背景掩码的循环一致性损失函数时，注意力掩码器所生成的背景掩码图会不完整地覆盖前景目标又或者覆盖无关的背景区域，从而使得生成器生成虚假的背景元素又或生成不完整的前景目标。

由图6（e）可以观察到，使用本文的专用注意力机制引导生成器、鉴别器以及有背景掩码循环一致性损失函数时模型生成的图像质量最好。

表2给出了有无专用注意力引导的生成器、鉴别器以及背景掩码循环一致性损失函数以及对生成图像质量的量化参数FID的影响。在本项测试中，FID越小代表图像质量越高，并且生成的图像与真实的图像越相似，可以观察到，当模型三者都拥有时能够取得最小的FID指数。

表2 在马转斑马任务上模型的消融研究

Tab.2 Ablation studies of models on the horse-to-zebra task

设置	无注意力引导生成器	无注意力引导鉴别器	无背景掩码循环一致性损失	三者都有
FID	107.23	92.24	86.05	57.54

图7给出了不同背景掩码循环一致性损失函数的 $λ$ 系数在马转斑马任务上对生成图像质量的影响。由图7可以观察到，当 $λ = 0.0$ 时，模型生成的前景目标以及背景掩码不够完整，又或者将背景元素引入到了生成图像中，降低了图像的质量；当 $λ = 1.0$ 时，模型生成的前景目标以及背景掩码最优，此时的生成图像质量最好；当 $λ = 10.0$ 时，由于过大的权重，降低了模型生成图像的清晰度以及产生了失真的色彩，并且使得模型生成了过大的前景目标掩码图。

图7 不同的 $λ$ 系数在马转斑马任务上对生成图像质量的影响

Fig. 7 Effect of different λ-factors on the quality of the generated images on the horse-to-zebra task

表3给出了不同背景掩码循环一致性损失函数的λ系数对模型生成图像质量量化参数FID的影响，其中，FID参数越低越好。

表3 不同

λ

系数对图像生成质量的影响

Tab.3 Effect of different λ‍-coefficients on the quality of the generated images

设置	FID
$λ = 0.0$	86.05
$λ = 1.0$ （本文）	57.54
$λ = 10.0$	79.58

由表3可以观察到，当 $λ = 1.0$ 时，模型生成图像的FID参数最低，此时的图像生成质量最优。

图8和图9展示的是本文模型在不同的转换任务上注意力掩码图生成器所生成的背景掩码图以及生成器生成的最终效果图。

图8 本文模型在苹果转橘子和橘子转苹果任务上生成的注意力掩码以及生成效果

Fig. 8 Attention mask and images generated by ours model on the apple to orange and orange to apple tasks

图9 本文模型在马转斑马和斑马转马任务上生成的注意力掩码以及生成效果

Fig. 9 Attention mask and images generated by ours model on the horse to zebra and zebra to horse tasks

由图8和图9可以观察到，本文模型能够准确地识别到需要转换的前景目标，做到修改前景目标的同时能够维持原背景图像不变，最大程度地提升了生成图像的质量。

3.6　量化结果

图10是不同模型在马与斑马互相转换任务上的效果图。由图10可以观察到，RA、DiscoGAN、UNIT、DualGAN、CycleGAN等模型在生成前景目标的同时也对背景进行了转换，这大幅降低了模型所生成的图片质量。在复杂的无匹配图像转换任务上，这类模型所生成的图像质量更低，而带有注意力机制的模型，如UAIT、AttentionGAN等模型则只改变或者轻微改变背景元素，提升了生成图像的质量。

图10 不同模型在马与斑马互换任务上的表现。（a）原图；（b）CycleGAN；（c）RA；（d）DiscoGAN；（e）UNIT；（f）DualGAN；（g）UAIT；（h）AttentionGAN；（i）本文模型。

Fig. 10 Performance of different models on the horse-zebra interchange task. （a） Original image；（b）CycleGAN；（c）RA；（d）DiscoGAN；（e）UNIT；（f）DualGAN；（g）UAIT；（h）AttentionGAN；（i） Ours.

由于UAIT等模型引入了独立的通用注意力机制结构，大幅增加了模型的复杂度。虽然AttentionGAN模型提出的注意力机制与生成器共享参数层的结构，减少了模型的参数，但是，由于无基于注意力机制引导的鉴别器，使得生成器生成了许多虚假的幻纹，而本文提出的基于专用注意力机制引导的生成对抗网络不仅能够抑制和减少虚假的幻纹的生成，并且进一步缩小了模型的结构以及提升了生成图像的质量。

图11是不同模型在自拍照与漫画脸转换任务上的效果图，可以观察到，本文的模型不仅能够仅转换前景目标区域图像，亦可以修改整张图像。由图11（h）的脸型、头发可以观察到，本文的模型能够最大程度地保留原有的语义信息的基础上来对图像进行转换。

图11 不同模型在自拍与动漫互换任务上的表现。（a）原图；（b）CycleGAN；（c）UNIT；（d）MUNIT；（e）DRIT；（f）U-GAT-IT；（g）AttentionGAN；（h）本文模型。

Fig. 11 Performance of different models on the selfie-anime interchange task. （a） Original image；（b）CycleGAN；（c） UNIT；（d） MUNIT；（e） DRIT；（f） U-GAT-IT；（g） AttentionGAN；（h） Ours.

表4是不同模型在马与斑马以及苹果与橘子转换任务的KID指标，表5是不同模型在自拍与漫画脸转换任务的KID指标，表6是不同模型在马与斑马转换任务上的FID指标，其中，KID与FID的值越小，代表网络生成的图像与真实的图像越相似，生成图像质量越高，即数值越小越好。由表4~6可知，本文的模型在不同的转换任务上都能取得最优的KID以及FID参数，即本文模型生成的图像与真实的图像最接近。

表4 不同模型在不同任务上的

K I D \times 100 \pm s t d . \times 100

指标

Tab.4

K I D \times 100 \pm s t d . \times 100

metrics for different models on different tasks

模型	苹果转橘子	橘子转苹果	马转斑马	斑马转马
DiscoGAN^［8］	$18.34 \pm 0.75$	$21.56 \pm 0.80$	$13.68 \pm 0.75$	$16.60 \pm 0.50$
RA^［19］	$12.75 \pm 0.49$	$13.84 \pm 0.78$	$10.16 \pm 0.12$	$10.97 \pm 0.26$
DualGAN^［7］	$13.04 \pm 0.72$	$12.42 \pm 0.88$	$10.38 \pm 0.31$	$12.86 \pm 0.50$
UNIT^［9］	$11.68 \pm 0.43$	$11.76 \pm 0.51$	$11.22 \pm 0.24$	$13.63 \pm 0.34$
CycleGAN^［12］	$8.48 \pm 0.53$	$9.82 \pm 0.51$	$10.25 \pm 0.25$	$11.44 \pm 0.38$
UAIT^［13］	$6.44 \pm 0.69$	$5.32 \pm 0.48$	$6.93 \pm 0.27$	$8.87 \pm 0.26$
AttentionGAN^［16］	$10.03 \pm 0.66$	$4.38 \pm 0.42$	$2.03 \pm 0.64$	$6.48 \pm 0.51$
Ours	$7.28 \pm 0.71$	$3.02 \pm 0.29$	$1.13 \pm 0.23$	$5.06 \pm 0.60$

表5 不同模型在自拍转动漫任务上的

K I D \times 100 \pm s t d . \times 100

指标

Tab.5 ‍KID

\times

100

\pm

std.

\times

100 metrics for different models on selfie to anime task

模型	自拍转动漫
CycleGAN^［12］	$13.08 \pm 0.49$
UNIT^［9］	$14.71 \pm 0.59$
MUNIT^［10］	$13.85 \pm 0.41$
DRIT^［11］	$15.08 \pm 0.62$
U-GAT-IT^［17］	$11.61 \pm 0.57$
AttentionGAN^［16］	$12.14 \pm 0.43$
Ours	$10.01 \pm 0.29$

表6 不同模型在马与斑马转换任务上的FID指标

Tab.6 FID metrics for different models on horse to zebra task

模型	马转斑马
UNIT^［9］	$241.13$
CycleGAN^［12］	$109.36$
DA-GAN^［20］	$103.42$
TransGaGa^［21］	$95.81$
SAT^［15］	$98.90$
AttentionGAN^［16］	$68.55$
Ours	$57.54$

表7为基于注意力机制引导的各个模型的复杂度指标。由表7可知，与文献［14］相比，本文的网络模型参数量降低近32.8%，训练速度快34.5%。

表7 基于注意机制引导的不同模型复杂度分析

Tab.7 Complexity analysis of different models guided by attention mechanism

模型	参数量/M	浮点运算量/G	乘法累加运算量/G	训练时间（100张）/s	占用显存（1批量）/MiB
X.‍ Chen^［14］	43.94	102.01	204.02	55	5 069
T. Hao^［16］	29.22	74.67 G	149.31	47	5 463
Ours	29.49	65.50	131.00	36	3 669

得益于本文所提出的注意力掩码生成子模块与内容生成子模块高度共享参数的生成器结构，本文的模型复杂度最小，占用硬件显存资源最少，训练速度最快。

4 结论

本文提出了一种新的用于无匹配图像转换任务的基于双专用注意力机制引导的循环生成对抗网络（Dual-SAG-CycleGAN）。生成器由端到端的、基于专用注意力机制引导的前背景掩码图生成子模块和内容图生成子模块所构成，两者高度共享权重参数。其中，前景、背景掩码图生成子模块的组成仅需要在原有的内容生成器结构中添加一个额外的卷积层以及Softmax激活函数。为了引导前背景掩码生成子模块生成更加精准的掩码图以抑制生成器生成降低生成图像质量的无关背景内容，我们提出了背景掩码循环一致性损失函数并引入了基于CAM专用注意力机制引导的判别器结构。

实验证明，本文结构不仅能够实现自动转换图像相关目标前景的功能，并且拥有更短的训练时间、更低的硬件开销、更好的生成图像质量。本文方法与现有同类模型相比，网络模型参数量降低近32.8%，训练速度快34.5%，KID与FID最低分别可达1.13、57.54，拥有更高的成像质量。

但是，由于本文的基于CAM专用注意力机制引导的判别器不能非常精确地关注到感兴趣的区域，在某些复杂的场景上会以背景物作为判别依据，所以会导致生成器生成虚假的幻纹，这也是限制生成图像质量进一步提升的重要因素，所以，在后续的工作中，我们会重新设计一种新的判别器结构，设计一种识别能力更加精准的注意力机制模块来引导判别器，以提升判别器识别感兴趣区域的能力，使得网络生成图像的质量有更进一步提升。

关键字：优秀论文

上一篇：基于二氧化钒相变实现动态可调的亚波长光学材料和器件
下一篇：基于BRISK和改进RANSAC算法的图像拼接

栏目分类

热门排行

推荐信息

期刊知识

基于双专用注意力机制引导的循环生成对抗网络

2 基本原理

2.1 整体框架

2.2 基于SAG专用注意力引导的生成器

2.3 基于CAM专用注意力引导的鉴别器

2.4 注意力引导下的循环一致性损失函数

2.5 优化目标