您的位置：网站首页 > > 正文

面向可见光和SAR影像配准的特征点检测

作者：王丽娜梁怀丹王中石徐瑞石广丰来源：《光学精密工程》日期：2022-09-22人气：3455

随着传感器技术的发展，传感器的种类逐渐增加。可见光传感器技术相对成熟，使得可见光图像具有成像效果好，分辨率高和易于解读等优点，但是，可见光传感器成像容易受到天气的影响。合成孔径雷达（Synthetic Aperture Radar，SAR）属于主动发出微波的成像系统，具有穿透力强、对人造目标尤其是金属目标十分敏感、能够有效地识别伪装和揭露掩盖等特点，但是，SAR图像的可读性不如可见光图像^［1-2］。将两种图像配合使用有助于形成信息互补，可应用于诸多场景，例如，图像融合，地物目标分类与识别等^［3-5］。为了融合异源遥感数据实现对地观测，需要对图像进行高精度配准，而特征提取作为图像配准的前提步骤，其提取精度和特征点的重复率严重影响配准结果，因此，研究适用于可见光和SAR图像的特征提取方法，提升特征提取精度和重复率，已成为异源遥感图像处理领域的研究热点之一。

近年来，在计算机视觉领域出现了许多特征点检测算子，典型的算子如SIFT^［6］、SURF^［7］和Harris^［8］等。由于可见光和SAR图像间的非线性辐射差异和SAR斑点噪声的影响，将常规的特征点提取算法直接用于可见光和SAR图像提取时效果并不理想，特征点重复率较低，进而降低了配准算法性能^［9］。为了克服上述问题，诸多学者在特征提取上做出改进，Ye等学者结合了Harris-Laplace和DOG两种算子的优势，提出了Harris-DOG检测算子^［10］，该算子能够同时检测影像间的角点和Blob点，为影像匹配提供更多、更稳健的特征点。Xiang等学者对可见光和SAR图像分别采用不同的梯度计算方式，提取出可见光和SAR图像的一致性梯度信息，在此基础上构造了两个不同的Harris尺度空间来提取高度重复的特征点^［11］。Zhang等学者同样改进了梯度计算方式，利用多尺度Sobel和多尺度ROEWA算子分别计算可见光和SAR图像的梯度来获得一致性较好的梯度结果，并在此基础上进行特征点提取，有效地提高了特征点的重复率^［12］。Fan等学者提出一种均匀分布的特征点检测方法UNDSS-Harris^［13］，UNDSS-Harris利用非线性扩散滤波来构建非线性扩散尺度空间，较好地保留了边缘梯度特征；在此基础上，采用多尺度Harris算子、比例系数和分块策略，在可见光和SAR图像中提取出均匀分布的特征点。保文星等学者提出了一种改进的基于信息熵约束和KAZE特征提取的预处理算法^［14］。该方法利用滑动窗口对整幅遥感图像进行遍历，计算出每个窗口的信息熵并形成直方图，通过阈值设定保留高信息熵以便用于特征提取。总的来说，上述方法的本质仍是基于图像梯度信息来提取影像间的显著特征，但可见光和SAR影像间的灰度差异较大，加之SAR斑点噪声的影响，严重影响了梯度计算结果，导致特征提取的重复率较低，进而降低了算法的匹配性能。

近年来，频域特征检测技术在异源遥感领域中的优势逐渐突显出来。比较典型的如相位一致性（Phase Congruency， PC）^［15］。该方法不受光照、灰度差异的影响，可大范围的检测图像中的角点、边缘和纹理等特征^［16］。鉴于PC在特征检测方面的优势，其已成为学者们的研究热点。孙明超等学者基于相位一致性最大矩和相位一致性最小矩的叠加图进行Harris特征点提取，获得了稳定的角点和边缘点，用于后续的特征匹配^［17］。Paul和Pati两位学者结合Gabor奇滤波器和多尺度Harris函数进行特征点检测^［18］。Li等学者在相位一致性最大矩和最小矩上分别进行FAST（或Harris）特征点检测^［19］。

诸多学者基于相位一致性提取出影像间的同名特征，但上述方法未充分考虑影像间的非线性辐射差异和SAR斑点噪声对特征点提取结果的影响。相位一致性在特征提取和特征描述方面尚有待发掘，算法稳定性有待提升。针对此问题，本文提出了一种基于相位一致性矩特征的Harris特征点提取算法——MMPC-Harris。首先，对待处理图像进行包含重叠区域的分块操作，增加特征点的均匀分布特性；然后，结合相位一致性最大矩和最小矩构建相位一致性多矩图，通过Harris算法实现特征的精细提取；最后，通过对多矩图上特征点进行投票和统计，选取重复出现超过半数的特征点作为最终的特征点。最终的特征点集合中包含了Harris特征点和在边缘上提取的Harris点，该方法保证了特征点的数量和稳定性。

2 相位一致性特征检测理论

相位一致性是基于频域信息进行特征提取的理论，最早由Morrone和Owens两位学者提出^［20］。早期的相位一致性理论仅适用于一维信号，而图像为二维信号，为此，Kovesi在该理论基础上做出了改进，将其扩展到二维，提出了二维相位一致性特征检测理论。Kovesi采用多尺度、多方向的Log Gabor Filter来计算图像的局部相位特征。二维Log Gabor Filter的表达方式为：

（1）

其中， $F_{e v e n}^{s, o} (x, y)$ 和 $F_{o d d}^{s, o} (x, y)$ 分别表示在尺度 $s$ 和方向 $o$ 上的偶对称和奇对称滤波器。利用二维Log Gabor Filter对输入图像 $I$ 滤波，其实质为利用二维Log Gabor Filter的奇对称和偶对称滤波器分别与输入图像进行卷积运算，则图像上任意像素点 $I (x, y)$ 处的响应分量为：

（2）

其中： $O_{e v e n}^{s, o} (x, y)$ 为偶分量， $E_{o d d}^{s, o} (x, y)$ 为奇分量。进一步可以得出图像上任意像素点 $I (x, y)$ 对应的相位一致性值 $V_{P C}$ 为：

（3）

其中： $W_{o} (x, y)$ 为随着滤波器响应变化的加权函数； $⌊\cdot⌋$ 运算表示符号内代数式的值为正时，符号内的计算结果与符号内代数式的计算结果相等，否则结果为0； $N$ 表示估计的噪声阈值； $ς$ 是一个小常数，避免分母为零的情况； $A_{s, o} (x, y)$ 和 $ϕ_{s, o} (x, y)$ 分别表示PC的幅值和相角，计算方式如下：

（4）

（5）

其中， $Δ ϕ_{s, o} (x, y)$ 为相位差，计算方式如下：

（6）

其中， ${\bar{ϕ}}_{s, o} (x, y)$ 为平均相位角度。

进一步，Kovesi分析了相位一致性矩随方向变化的情况，提出利用基于相位一致性度量进行角点特征和边缘特征的检测方法^［16］。Kovesi计算任意方向o和尺度s上的PC₂值来获得相位一致性的最大矩M和最小矩m，最终得到影像的角点特征和边缘特征，M和m具体形式如下：

（7）

（8）

其中：a，b，c是中间变量，其具体形式如下：

（9）

（10）

（11）

其中， $θ_{o}$ 表示方向o对应的角度。M反映了边缘强度信息，可以用于边缘特征的检测；m相当于角点检测子中的角点率，当像素点处的m值较大时，则该像素点是角点的可能性较大，通过设定m的特定阈值来筛选影像的角点特征。

3 基于改进相位一致性的可见光和SAR影像特征提取

基于相位一致性的最大矩和最小矩信息能够获取图像的边缘和角点信息。可见，图像的相位一致性矩信息可以有效表示图像的特征。本文提出图像的相位一致性矩特征表示如下：

（12）

其中：a，b，c是式（9）~式（11）的中间变量， $M_{k}$ 表示第 $k$ 个矩特征图像。进一步可以根据最大矩和最小矩特征将公式（12）描述为：

（13）

其中， $k_{t}$ 用于控制相位一致性矩的值，取值范围为： $[- 1,1]$ 。若相位一致性多矩图数量为 $n$ ，则参数 $k_{t}$ 以步长 $h = 2 / n - 1$ 变化。

可见光和SAR影像间存在明显的非线性辐射差异，但二者的边缘相似度极高^［21］，因此，考虑先提取出一致性较好的边缘特征，在边缘上进行特征点检测，来增加特征点数量。而相位一致性是一种频域特征检测理论，相比于直接利用梯度来提取边缘，能够更好地抵抗影像间的非线性辐射差异。鉴于此，本文提出了一种基于相位一致性矩进行特征提取的方法（MMPC-Harris），该方法旨在抵抗SAR斑点噪声的影响和影像间的非线性辐射差异，来获得均匀分布且重复率较高的特征点对，进一步提升配准算法的性能。图1给出了算法流程图。

图1 本文算法流程图

Fig.1 Flow chart of the proposed method

MMPC-Harris的具体步骤如下：

（1）分块处理：将输入图像分成 $S_{n} \times S_{m}$ 个图像块，并在相邻图像块之间增加 $n_{o p}$ 个像素的重叠区域，以防止在分块边界处丢失特征信息；

（2）对每个图像块构建相位一致性多矩特征图。通过多次实验发现，随着相位一致性多矩图数量 $n$ 的增加，特征点重复率有所提高， $n$ 超过5之后增加的速度明显变慢。综合考虑到算法的计算量，本文实验选取 $n = 5$ 。在每个相位一致性矩特征图像上基于Harris提取特征点，记录特征点位置和数量。

（3）基于统计原理，投票确定最终的特征点。若某一特征点在多矩图中出现的次数超过多矩图数量的一半，则将该特征点放入最终特征提取结果的集合中，并利用其在多矩图中坐标取平均值作为最终该特征点的位置信息。

（4）将每个图像块的特征提取结果合并，构成本文算法最终的特征点提取集合。

为了便于程序实现，参数设置为 $n = 5$ ， $h = 0.5$ ， $k_{t}$ 表示的序列为 $\{- 1, - 0.5,0, 0.5,1\}$ ，给出MMPC-Harris程序逻辑如图2所示。

图2 MMPC-Harris程序逻辑图

Fig.2 Program logic diagram of MMPC-Harris

MMPC-Harris算法
输入图像 1）分块策略：将图像分成 $S_{n} \times S_{m}$ 个子图像； 2）分别对每个子图像计算PC值； for k = 1， $\cdot \cdot \cdot$ ，5 do ｛ $k_{t} = - 1 + 0.5 (k - 1)$ ，构建 $M_{k}$ ，Harris特征点提取；｝ end for 3） for i = 1， $\cdot \cdot \cdot$ ，（角点数） do 统计特征点i在 $M_{1} ~ M_{n}$ 上出现的次数； if （出现次数）≥3 do ｛计算该特征点在 $M_{1} ~ M_{n}$ 上的坐标的平均值，作为该特征点最终的坐标；｝ end if end for 4）合并特征点输出： MMPC-Harris检测结果

MMPC-Harris算法

输入图像

1）分块策略：将图像分成 $S_{n} \times S_{m}$ 个子图像；

2）分别对每个子图像计算PC值；

for k = 1， $\cdot \cdot \cdot$ ，5 do

｛ $k_{t} = - 1 + 0.5 (k - 1)$ ，构建 $M_{k}$ ，Harris特征点提取；｝

end for

3） for i = 1， $\cdot \cdot \cdot$ ，（角点数） do

统计特征点i在 $M_{1} ~ M_{n}$ 上出现的次数；

if （出现次数）≥3 do

｛计算该特征点在 $M_{1} ~ M_{n}$ 上的坐标的平均值，作为该特征点最终的坐标；｝

end if

end for

4）合并特征点

输出： MMPC-Harris检测结果

下面通过模拟可见光和SAR图像进行实验分析，如图3所示。在可见光图像上分别加入高斯噪声和斑点噪声来生成仿真数据，利用仿真图像作为待处理的可见光和SAR图像。

图3 不同相位一致性矩特征的Harris检测结果

Fig.3 Harris detection results of different PC feature

由仿真结果可知，在最小矩上提取的特征点重复率较高，但容易受噪声的影响，出现了一定的错误点对，如图3（b）。在最大矩上提取的边缘点的数量较多，能够保证特征点数量，如图3（f）。将两者直接相加作为最终的特征点集，尽管结果中含有稳定的角点和数量较多的边缘点，但仍存在一定问题，如直接叠加方式难以抵抗噪声干扰，导致结果中仍存在一些不稳定的特征点，如图3（g）。而本文算法基于相位一致性多矩特征和统计原理来获得最终的特征点，以此来抵抗噪声干扰，剔除了虚假点，进而得到稳定的特征点对，保证了特征点的重复率；再加上分块处理，获取均匀分布的特征点，如图3（h）。

4 实验与分析

本小节对MMPC-Harris特征点检测算子的性能进行实验分析，实验内容包括三个部分：首先，验证MMPC-Harris特征点检测算子对SAR斑点噪声的鲁棒性；其次，验证MMPC-Harris特征点检测算子对非线性辐射差异的鲁棒性；最后，基于一组实测可见光和SAR图像验证MMPC-Harris特征点检测算子对整体配准算法性能提升的影响。

4.1　MMPC-Harris对噪声鲁棒性评估

4.1.1　实验数据

目前尚且没有公开的可见光和SAR数据集用于测试特征点检测算法的优劣。为了便于计算特征点重复率，验证本文算法的有效性，本小节实验部分仍采用仿真数据，仿真数据的生成方式为对高清可见光图像分别加高斯噪声和不同级别的斑点噪声来生成仿真可见光和SAR图像，原始高清光学图像如图4所示。

图4 高清可见光图像

Fig.4 High resolution optical images

高清图像为长光卫星科技公司拍摄的智利圣地亚哥的机场和港口，拍摄时间为2017年3月，影像分辨率为1 m/pixel，图像大小均为1 000 pixel $\times$ 1 000 pixel。对上述两组高清光学图像分别加入高斯噪声和乘性噪声所生成仿真光学和SAR图像，结果如图5所示。

图5 两组模拟图像（左侧为可见光图像，右侧为SAR图像，L=5）

Fig.5 Two sets of simulated images （The left are optical images and the right are SAR images， L=5）

4.1.2　评价方法和评价准则

为验证本文算法的先进性，选取了典型的特征点检测算法Harris^［8］，SAR-Harris^［21］和m+M-Harris^［17］作为对比算法。通过定性和定量两种方式来评价算法的性能。定性分析通过观察特征点的分布情况，均匀分布的特征点有利于几何变换模型的求取。定量分析则以不同SAR噪声级别下，特征点重复率R作为评价指标。参考图像A和待配准图像B上的一对特征点属于同名点前提为：

（14）

其中： $p_{A} (x, y)$ 和 $p_{B} (x, y)$ 分别表示特征点在参考图像和待配准图像中的位置坐标，符号 ${‖\cdot‖}_{2}$ 为欧式距离测度，d为欧式距离阈值。本文d设置为2，表征若两点之间的欧式距离 $\leq 2$ 个像素，则这两个点为一对同名点。 $R$ 定义为：

（15）

其中： $N_{c o r}$ 为正确匹配点对数， $N_{o}$ 和 $N_{s}$ 分别为在可见光和SAR图像中提取的特征点总数量， $R$ 值越大，特征点检测算子的性能越好。

4.1.3　实验结果与分析

本实验通过调整阈值，使得所提取的特征点总数量保持一致，每种算法均提取约600对特征点，取10次计算的平均值作为最终实验结果，以减小误差的影响。图6给出了四种算法对两组图像的特征点重复率变化曲线。

图6 特征点重复率曲线

Fig.6 Repeatability rate curve of feature points

由结果可见，MMPC-Harris在任何SAR噪声级别下的特征点重复率均获得了最高值，说明MMPC-Harris能在一定程度上抵抗SAR斑点噪声的影响，获得较高的特征点重复率。SAR-Harris的效果弱于本文方法，但优于Harris算法，这是由于SAR-Harris是在ROEWA算子提取SAR信息的基础上进行的Harris特征提取，ROEWA可以有效地抵抗SAR斑点噪声，获得较为理想的边缘特征，因此，在此基础上进行Harris特征提取能够抵抗噪声干扰。但是，SAR-Harris仅考虑了在SAR图像上进行特征提取所遇到的问题，并未对可见光和SAR这两种图像的异源性进行处理，所以，效果略差于本文方法。Harris算子的性能是最差的，随噪声水平的增加，特征点重复率值下降较快，表明Harris算子容易受到SAR乘性噪声影响，不适合用于直接处理SAR图像。

4.2　MMPC-Harris对非线性辐射差异的鲁棒性评估

4.2.1　实验数据

对图4（a）的列乘以可变系数来模拟影像间的非线性辐射差异，结果如图7所示，由图可见，影像间的同名特征呈现出不同的灰度特性，这种差异增加了同名特征提取的难度。

图7 模拟非线性辐射差异的图像

Fig.7 Simulated nonlinear radiometric differences images

4.2.2　实验结果与分析

对比算法和评价指标同4.1节实验一致。选取第一组实验数据的特征提取结果进行对比，结果如图8所示。

图8四种算法特征点提取结果

Fig.8Feature point extraction results of four algorithms

Harris和SAR-Harris算子的特征提取结果分别如图8（a）和图8（b）所示，二者基于灰度梯度信息进行特征提取，易受到影像间非线性辐射差异的影响，在可见光图像中可以检测到的特征在模拟的非线性辐射差异的图像中未被检出，特征点分布不均匀，较容易集中在灰度差异较大的区域。图8（c）和图8（d）分别给出了m+M-Harris和MMPC-Harris的特征提取结果，二者均能克服影像间的非线性辐射差异，特征点分布较均匀，在光学图像中提取的特征，在对应图像上仍然能够被检测到，这是因为本文方法和m+M-Harris方法是基于PC进行提取的，而PC算子对灰度和光照变化不敏感。进一步给出定量分析的结果来验证本文算子的性能，如表1所示。

表1 四种算法在非线性辐射差异情况下的重复率

Tab.1 Repetition rates of the four methods in the case of nonlinear radiometric differences

Group	Harris	SAR- Harris	m+M-Harris	MMPC-Harris
Group 1	72.85%	41.76%	64.51%	87.91%
Group 2	60.50%	71.56%	65.13%	90.53%

Group

Harris

SAR-

Harris

m+M-Harris

MMPC-Harris

Group 1

72.85%

41.76%

64.51%

87.91%

Group 2

60.50%

71.56%

65.13%

90.53%

四种算子中，MMPC-Harris的特征点重复率值最高，这是由于本文方法在相位一致性多矩图上进行投票，剔除了一些不稳定的特征点，故本文算子可以较好地抵抗影像间的非线性辐射差异的影响，获得更多的同名点对。

4.3　MMPC-Harris特征点检测算子的配准性能

MMPC-Harris可以提升特征点的重复率，进而提升配准算法性能。为了证实这一点，基于一组实测的可见光和SAR图像进行配准实验，选取了Harris、SAR-Harris和m+M-Harris特征点检测算子作为对比算法，所有描述符均采用HOSMI^［22］，以验证MMPC-Harris特征点检测算子对可见光和SAR图像配准性能的提升。

4.3.1　实验数据和评价指标

实验数据如图9所示，左侧为在Google Earth上截取的同一地区的可见光影像，右侧为机载SAR影像，拍摄时间为2017年7月。可见光和SAR图像的尺寸均为1 741 pixel×1 075 pixel，分辨率为3 m/pixel。拍摄场景为郊区，包含河流、低矮建筑物、农田和道路等。

图9 可见光和SAR影像

Fig.9 Optical and SAR images

配准实验采用主观和客观两种评价方式。主观评价方式为直接给出配准结果，客观评价指标为均方根误差（Root Mean Square Error， RMSE）和正确匹配点对数（Number of Correct Matches， NCM）。通过调整阈值，使得本文方法和对比方法均提取约1 200对特征点。采用平方差之和（Sum of Square Differences， SSD）作为匹配准则，SSD阈值设置为3个像素，并利用FSC^［23］剔除误匹配。

4.3.2　实验结果与分析

利用四种检测算子的特征提取结果进行配准，结果如图10所示，表2显示了四种检测算子的NCM和RMSE。

图10 四种算法的配准结果

Fig.10 Registration results of four algorithms

表2 四种方法的NCM和RMSE

Tab.2 NCM and RMSE of the four algorithms

Algorithm	RMSE	NCM
Harris+HOSMI	2.82	23
SAR-Harris+HOSMI	2.66	32
m+M-Harris+HOSMI	1.91	35
MMPC-Harris+HOSMI	1.67	58

由配准结果可见，四种检测算子都能完成配准，但配准性能存在差异。Harris和SAR-Harris是直接利用灰度信息进行特征提取的，所获得的正确匹配点对分布不够均匀，这说明直接利用灰度信息进行特征提取难以抵抗影像间的非线性辐射差异。m+M-Harris和MMPC-Harris均取得了较好的效果，这说明基于PC进行特征提取有助于抵抗影像间的非线性辐射差异。

结果表明，与其他特征点检测算子相比，在描述符一致的情况下，MMPC-Harris获得了最多的NCM和最小的RMSE，这是因为MMPC-Harris是基于PC特征进行特征点检测的，在一定程度上抵抗了影像间的非线性辐射差异，同时，MMPC-Harris检测了角点和边缘上角点，保证了特征点的数量，通过建立相位一致性多矩图和设计的投票策略，在一定程度上剔除了噪声的影响，从而获得大量稳定特征点用于图像匹配。此外，MMPC-Harris使用了分块策略，能够获得均匀分布的同名点对，可以更好地适应影像间的几何形变。总之，MMPC-Harris可以显著提高在可见光和SAR影像间所提取的特征点重复率，进而提升配准精度。

5 结论

本文针对可见光和SAR影像间的非线性辐射差异和SAR斑点噪声导致在影像间提取的特征点重复率较低的问题，提出了一种基于相位一致性的特征点提取算法MMPC-Harris。MMPC-Harris通过计算图像的相位一致性矩信息，构建了相位一致性多矩图，在所构建的相位一致性多矩图上提取Harris角点，并设计了投票策略，选取了重复出现超过半数的点作为最终的特征点，获得了稳定的角点和边缘点。仿真数据的测试结果表明，MMPC-Harris可以较好地抵抗影像间的非线性辐射差异和SAR斑点噪声的影响，有效地提高了特征点的重复率。一组实测可见光和SAR图像上的测试结果表明，与其他三种方法对比，MMPC-Harris的正确匹配点对数分别提高了23、26和35对，均方根误分别降低了12.6%、37.2%和40.8%，能够有效地提升配准算法性能。但是，MMPC-Harris不具备旋转和尺度不变性，下一步工作将针对此问题进行更加深入地研究。

关键字：优秀论文