基于改进局部一致性约束的立体匹配算法

双目立体视觉模拟人的视觉系统，通过对同一场景下不同角度的两张图像进行图像处理重建三维结构［1］，而立体匹配是其中最为核心的技术。立体视觉是指在同一场景中不同位置的两个相机获得左右两张图像，通过计算视图中同名像素点的视差获得深度信息［2］。近年来，研究者尽管对立体匹配进行了深入的研究，但在复杂环境下（如噪声腐蚀，光度畸变等）仍然难以获得精确匹配［3］。立体匹配在三维重建、目标检测［4］等领域的广泛应用［5］使之成为研究热点。目前立体匹配算法主要分为传统算法［6］和深度学习算法［7-8］。

传统方法一般分为代价计算、代价聚合、视差计算、视差优化4个步骤［9］，主要分为全局方法和局部方法［10］。全局方法采用全局优化理论建立一个全局能量函数，函数最小值即最优的视差值。主要方法有信念传播［11］和动态规划［12-13］。全局方法准确率较高，但是计算量大，不适合实时应用［14］。相比之下，局部方法的目标函数只包含测量部分，其计算量较少，匹配速度快。常见的有Census变换［15-16］、SAD、PatchMatch等算法。此外，Hirschmüller提出半全局立体匹配算法（Semi-Global Matching，SGM） ［17］，该算法在计算函数能量最小化时使用一维最优近似二维最优，使算法效率得到极大提升。

基于深度学习［18］的立体匹配算法将推导视差图的过程视为分类问题或回归问题。例如，Zbontar［8］使用卷积神经网络（Convolutional Neural Networks，CNN）估计图像块的相似性，Nahar［19］提出了无监督的预训练网络估计分层特征。虽然深度学习方法准确度较高，但是目前的大多数方案使用的监督学习方法均是假设真实的视差值已知，而该假设在一些情况下是不成立的［20］。此外，深度学习方法在训练时需要大量的数据和时间，对算力要求较高，对于没有被训练过的陌生环境效果较差，并且不能很好地被移植到机器人和嵌入式系统中［21］。

与深度学习方法相比，传统方法遇到这类问题时的匹配效果更好。文献［22-23］等的算法均在与深度学习算法的比较中取得了优势。传统算法不用进行训练，计算开销较低。因此，本文对传统算法进行了改进。PMS［24］作为经典的传统算法使用随机初始化生成任意的平面参数来实现倾斜平面。虽然可以处理实际倾斜表面，但是该处理方法需要多次迭代，导致计算量极大且误匹配率较高。为解决这一问题，首先，本文通过稀疏匹配得到支撑点。其次，利用三角剖分划分支撑点为每个像素找到逼近正确解的平面参数。最后，为了得到更准确的视差，在代价聚合阶段采用迭代传播的方式构建出局部一致性平行窗口模型，减少了迭代次数同时降低了误匹配率。

2 算法描述

2.1　算法流程

本文算法流程图如图1所示。

图1  本文算法流程图

Fig.1  Algorithm flow chart of this paper

下载: 原图 | 高精图 | 低精图

详细步骤如下：

Step1：将输入的左图像等步长选取特征点进行稀疏匹配得到鲁棒性高的支撑点集。

Step2：对点集进行三角剖分，为每个像素点找到一个平面，将平面参数赋给该像素点。

Step3：将像素点及平面参数多次进行代价聚合即迭代传播，找到更加准确的平面参数。

Step4：通过像素点的平面参数以及横纵坐标求该点的视差值。

Step5：对视差图进行视差后处理。

2.2　算法思路及主要公式

本文算法采用倾斜窗口代替固定式窗口。对任意像素p，算法会寻找一个平面fp，该像素的视差值dp计算公式如式（1）所示：

dp=afppx+bfppy+cfp

 ， （1）

式中：afp、bfp和cfp为fp的平面参数，px与py为像素p的横纵坐标。匹配过程转换为寻找每个像素的最优平面参数，每个像素对应的最小聚合代价的平面为：

fp=argminf∈Fm(p,f)

 ， （2）

式中：F表示一个无边界的平面集合，m(p,f)为像素p对应平面f的聚合代价。m（p，f）表达式为：

m(p,f)=∑q∈Wpw(p,q)⋅ρ(q,q−(afqx+bfqy+cy)) ,

（3）

式中：Wp是中心像素为p的正方形匹配窗口，q为窗口内一像素点。采用自适应权重函数w(p,q)克服边缘扩胀（Edge-Dilated）问题，该点色彩相似度越高，则权重值也越大，计算公式如式（4）所示：

w(p,q)=e−∥Ip−Iq∥γ

 ’ （4）

式中：γ为自定义参数；∥IP−Iq∥定义为RGB彩色空间中p点与q点的距离，即|r−r|+|g−g|+|b−b|。公式（3）中ρ(q,q')为度量q点与q'点间差异性的函数，结合公式（1）可得q'=q−d，即参考图的点q在目标图上偏移d个像素单位后对应的像素点记为q'，其计算公式如式（5）所示：

ρ(q,q')=(1−α)⋅min(∥Iq−Iq'∥,τcol)+α⋅min(∥Iq−Iq'∥,τgrad) ,

（5）

式中：∥Iq−Iq'∥为q点与q'点间灰度梯度值差的绝对值；α为平衡颜色代价和梯度代价的自定义参数；τcol和τgrad为截断函数，使遮挡区域代价值在一个合理局部范围。

倾斜窗口的匹配算法虽然优于传统立体匹配算法，但是如果不能为像素找到一个正确的倾斜窗口，不仅导致后续步骤存在大量的迭代，还会导致得到的视差值不准确。本文从这一问题出发，通过稀疏匹配得到强鲁棒性支撑点，再利用三角剖分使每个像素得到一个接近真实值的平面参数，最后通过改进后的迭代传播构建出局部一致性平行窗口模型。

3 本文方法

3.1　稀疏匹配特征点

PMS算法为每个像素都计算一个视差平面，这一做法忽略了立体匹配中连续性约束的重要假设，而且逐个像素计算也会增加计算量。为了解决这一问题，本文算法采用精匹配获得特征点，并通过这些特征点求得其他像素的视差平面。本文所用方法不仅符合连续性约束的假设，而且能快速准确地找到正确解。

首先通过稀疏匹配，在左图像中以步长为5获取候选特征点，得到特征点后根据视差范围(Dmin~Dmax)在右图中搜索每个视差值对应的点，再计算曼哈顿距离获得匹配代价，计算公式如式（6）所示：

c=|x1−x2|+|y1−y2|

 ， （6）

式中：c为曼哈顿距离，x1、x2为2个点的横坐标，y1、y2为2个点的纵坐标。通过式（6）这一公式找到在视差范围内最小匹配代价对应的点，然后以其周围4个点的匹配代价的均值代替其代价值，将左右图像调换位置重复上述步骤。最后执行左右一致性检验，将剩下的点作为本次稀疏匹配的特征点。通过这样的特征点求得的视差平面更接近于正确解。

3.2　通过三角剖分构建局部一致性

在计算平面参数阶段，PMS算法采用随机初始化的方法。使用随机函数得到一个在视差范围内的随机视差d，记为z0，与当前像素的横纵坐标组成三维点P=(x0,y0,z0)，再用随机函数生成单位法向量n⃗ =(nx,ny,nz)，最后根据点法式平面方程计算出平面参数。

这种方法无法保证每个像素得到正确（或近似正确）的平面参数，从而需要多次迭代以确保正确的平面参数传递到其他像素。如果邻域像素的平面参数都与真实值偏差过大，则无论迭代多少次都无法回归到正确的平面。

针对上文提到的PMS算法的缺陷，本文算法采用三角剖分划分特征点的方法来为像素点找到一个视差平面。这样得到的平面接近正确解。本文对3.1节中得到的特征点执行三角剖分得到三角平面集合，根据连续性约束认为每个三角平面中的像素视差是一致或者近似的，构建局部一致性窗口，计算每个三角平面参数并分配给其中的像素。由于支撑点是通过精匹配得到的强鲁棒点，其视差置信度高，因此计算得到的平面参数最接近真实值，为后续的迭代传播过程提供了良好的初始依据，使其经过更少的迭代次数便能回归到精确解。

本文算法使用的是分治法三角剖分，以10点垂直分割法为例，流程如下：

Step1：将10个点按x坐标作升序排序，当x坐标相同时，按y坐标排序。如图2（i）所示。

图2  三角剖分步骤

Fig.2  Triangulation step

下载: 原图 | 高精图 | 低精图

Step2：用递归方法将排序后的点划分为数量近似的两个子集，直到点数≤3，最后得到4个二级子集，如图2（ii）所示。

Step3：将4个二级子集合并成两个一级子集，如图2（iii）所示。

Step4：通过三角剖分的空圆特性及最大化最小角原则将2个一级子集进行合并，如图2（iv）所示。

最终图像中的像素点会分成若干三角平面，再通过每个三角平面的3个顶点计算平面参数并分给该三角形内其余点。

本文具体步骤如下：

Step1：等步长选取候选特征点；

Step2：稀疏匹配候选特征点，并执行左右一致性校验，将剩余点作为强鲁棒性的支撑点集S={s1,s2,…,sM}，支撑点sM=[um,vm,dm]T；

Step3：对支撑点集S执行三角剖分，获得三角平面集合T；

Step4：根据三角平面集合T计算当前平面的平面参数，如T的3个顶点坐标分别为s1={u1, v1,d1}T、s4={u4,v4,d4}T和s9={u9,v9,d9}T，则平面参数为：

⎧⎩⎨⎪⎪d1=afu1+bfv1+cfd4=afu4+bfv4+cfd9=afu9+bfv9+cf⇒⎧⎩⎨⎪⎪afbfcf

 . （7）

Step5：令T平面内像素的平面都等于（af，bf,cf)，重复步骤4、5，直至T内最后一个三角平面。

3.3　迭代传播

3.3.1　局部一致性平行窗口模型

迭代传播指的是图像重复进行代价聚合过程，目的是把随机视差平面中正确的视差平面传播至同一视差平面内的其他像素。本文算法对迭代传播进行了优化，将迭代次数减少为两次，并舍弃了平面传播和时序传播两个传播过程。为了验证优化的正确性，本文提出了两种模型。因为PMS算法使用的是倾斜窗口，本文为与原算法保持一致，将包含平面传播步骤的模型称为局部一致性倾斜窗口模型，将缺少平面传播步骤的模型称为局部一致性平行窗口模型即本文算法。

本文用一张概念图来表示本文的局部一致性窗口与随机倾斜窗口的区别，如图3所示。其中Ω1、Ω2和Ω3平面为局部一致性窗口，Ω4空间和Ω5空间为随机倾斜窗口。在Ω1、Ω2和Ω3平面中，处于同一平面的像素具有相同的平面参数，保证了立体匹配的连续性约束条件。而在Ω4空间和Ω5空间中，每个像素的平面参数各异，不满足连续性约束条件，需多次迭代传播才能回归到正确值。

图3  局部一致性与随机倾斜窗口对比

Fig.3  Comparison of local consistency and random window

下载: 原图 | 高精图 | 低精图

3.3.2　空间传播

空间传播假设空间上邻近点的像素很有可能处于同一平面内。本文通过空间传播使当前像素得到邻域像素中代价最小的平面参数，具体步骤如下：

Step1：对于当前像素p(x,y)，其邻近像素分别记为q'(x−1,y)与q''(x,y−1)，其平面分别记为fp、fq'和fq''；

Step2：基于平面计算匹配代价值m(p,fp)、m(p,fq')与m(p,fq'')，分别记为p、p'和p''；

Step3：选取最小匹配代价min{m,m',m''}代替像素p(x,y)点原匹配代价，并将平面参数更新为最小匹配代价的平面参数。

在左右视图的每个像素点逐次重复上述4步，直至图像最后一个像素点。空间传播是将邻域内可能正确的平面参数传递给空间邻近的像素，因此需要多次迭代才能将正确的平面参数赋给邻域内的所有像素。

3.3.3　视图传播

视图传播假设双目视图的左右图像上的同名点不仅具有相同的视差值，而且匹配点间可能具有相似的视差平面。对于所有参考图像素点p，比较其与目标图上同名点的平面的代价值。本文算法通过视图传播使像素获得同名点间最优平面参数。

Step1：取参考图像素p(xl,yl)，其平面方程为：

d=apxl+bpyl+cp

 . （8）

Step2：若p点视差为dp则目标图上同名点坐标为p'(xl−dp,yl)，将其带入式（8）中，则有：

dp'=−apxl−bpyl−(cp+apdp)

 . （9）

Step3：通过公式（9）可得目标图上同名点p'的平面参数为(−ap',−bp',−(cp+apdp))。

Step4：计算p点在2个平面下的匹配代价，若m(p,fp')<m(p,fp)，则更新匹配代价，并令fp= fp'。反之，则保持原平面不变。

在这个过程中，通过计算得到的目标图同名点p'坐标如果不是整数则需要四舍五入映射到最邻近的图像坐标，这也是同名点间的平面相似而非相同的原因。

3.3.4　视差后处理

在经过迭代传播后，通过像素点的平面参数计算其视差值，可表示为：

dp=afppx+bfppy+cfp

 ， （10）

式中：afp，bfp和cfp为fp的平面参数，px与py为像素p的横纵坐标。

在视差优化阶段，本文算法采取左右一致性校验、视差填充和滤波等后处理步骤来提高视差图的精度。

首先，通过左右一致性校验剔除误匹配点。分别求出左右视差图，对参考图上的像素点p与目标图上匹配的像素点p'，执行|dp−dp'|≤1的条件检验，剔除不满足条件的点。

然后，对于被剔除的异常点p，在其邻域内搜索最邻近像素点q，将q点的坐标和它在左右视图上的平面flq、frq分别带入公式（1）得到两个视差值，取较小的视差值作为p点的视差。这种处理方法更符合实际情况，且当处理的图像为视频流的一帧时，该方案能为遮挡区域的像素分配更合理的平面参数，使其能有效应用于下一帧图像。

最后，为削弱视差填充的负面影响，使用加权中值滤波来结合多方向视差信息。其中强鲁棒点在滤波时会被直接跳过，算法转而继续寻找下一个误匹配点执行滤波操作。

4 测量实验与结果

本文采用Middlebury测试［25］平台提供的第三版标准测试数据集进行实验。其中样本包括15组双目视觉图像对。编程语言为C++，硬件环境为Intel（R）Core（TM）i7-9750 CPU，16 GB内存，系统为Windows 10。实验参数设置为γ=10.0，α=0.9，τcol=10.0，τgrad=2.0。其中γ为自适应权重函数w(p,q)中自定义参数；α为ρ(q,q')中平衡颜色代价和梯度代价的自定义参数；τcol和τgrad为ρ(q,q')中截断函数，使遮挡区域代价值在一个合理局部范围。

客观评价标准采用误匹配率（bad，Ebad）与绝对值均差（avgErr，Eavg）。评价指标bad的含义是当真值图和视差图结果相差1 pixel以上时，判定为误匹配点，表达式如式（11）所示：

Ebad=nN×100%

 ， （11）

式中：N为有效点总和，n为超出误差线的匹配点总和。本文中non表示非遮挡区域，all表示全部区域。

评价指标avgErr是计算非遮挡区域的真值图的值gt与匹配点视差d（包含误匹配点）的差的绝对值，最后统计绝对值与有效点的百分比，表达式如式（12）所示：

Eavg=∑i∣∣di−gti∣∣N−Inf×100%

 ， （12）

式中：Inf为无效点总和。

4.1　算法对比

4.1.1　本文算法与PMS算法对比

图4为PMS算法与本文算法主观效果图，红框内区域为效果提升明显区域。其中，PMS算法在Adirondack、Piano等图像中出现零值区域，在ArtL、Playtable图像中出现不连续区域、轮廓变形现象。相比而言，本文算法处理后的效果图如Artl，PlaytableP，Adirondack等在边缘、纹理、轮廓方面均有显著提升。

图4  不同算法在Middlebury 3.0图像对上的实验结果。（a）参考图像；（b）真实视差图；（c）PMS算法；（d）本文算法。

Fig.4  Lifting effect comparison charts of different algorthms on Middlebry 3.0 image pairs. （a） Reference image； （b） Truth graph； （c） PMS algorithm； （d） Proposed algorithm.

下载: 原图 | 高精图 | 低精图

表1为本文算法与PMS算法在非遮挡区域、全部区域误匹配率以及绝对值均差的对比结果，表中数据为第3次迭代结果。其中PMS、Prop-sla和Prop-par分别表示PMS算法、局部一致性倾斜窗口和局部一致性平行窗口即本文算法，加粗数据为对同一图像处理效果的最优数据。

表1  本文算法与PMS算法结果对比

Tab.1  Comparison of the results of the algorithm in this paper and the PMS algorithm

Data name non/% all/% Eavg/%

PMS Prop-sla Prop-Par PMS Prop-sla Prop-Par PMS Prop-sla Prop-Par

Adirondack 22.09 21.27 6.669 24.68 23.61 10.41 1.93 1.9 0.63

ArtL 15.48 14.14 13.25 25.42 24.82 27.23 1.36 1.23 1.19

Jadeplant 24.95 24.93 45.66 39.85 39.32 55.79 4.08 4.34 15.36

Motorcycle 14.49 13.73 11.67 21.68 21.09 18.6 1.12 1.09 1.01

MotorcycleE 19.93 17.51 13.92 27.22 24.64 20.84 1.4 1.29 1.18

Piano 27.03 25.95 25.67 34.95 33.52 33.16 1.59 1.46 1.45

PianoL 43.56 43.82 34.13 50 48.8 41.95 3.18 3.11 2.33

Pipes 17.76 16.94 15.39 30.97 30.1 28.55 2.03 1.88 2.01

Playroom 31.99 30.75 27.15 42.77 41.46 39.04 2.91 2.82 2

Playtable 19.53 19.8 17.54 25.94 26.46 24.89 1.19 1.25 1.13

PlaytableP 12.48 11.9 10.7 18.7 18.25 17.05 0.65 0.64 0.54

Recycle 21.42 21.3 16.65 25.11 25.4 19.72 1.57 1.59 1.01

Shelves 49.86 49.76 46.63 56.34 56.11 52.82 4.59 4.55 3.23

Teddy 6.809 7.609 6.037 14.81 14.46 13.91 0.64 0.65 0.48

Vintage 29.7 29.51 40.26 34.67 34.05 44.05 2.15 2.11 4.67

下载: 导出CSV

实验结果显示，与PMS算法相比，在非遮挡区域，本文提出的局部一致性平行窗口和局部一致性倾斜窗口分别能取得13、12组的优势结果；在全部区域，能取得12组的优势结果；对于avgErr指标，分别能取得14、11组的优势结果。同时，在非遮挡区域，本文算法有13组的最优数据，这13组数据与PMS算法相比，总的误匹配率降低了57%，平均误匹配率降低4.39%，其中对单张图像误匹配率降低最多可达到15.42%（Adirondack）。在全部区域，本文算法有12组的最优数据，这12组数据与PMS算法相比，总的误匹配率降低了52%，平均误匹配率降低4.33%，其中对单张图像误匹配率降低最多可达到14.27%，说明本文算法在降低误匹配率方面效果显著。

4.1.2　本文所提两种模型对比

为说明本文算法舍弃平面传播的原因，本文对局部一致性平行窗口模型和局部一致性倾斜窗口模型进行了对比，结果如图5所示。实线为不包括平面传播的局部一致性平行窗口模型即本文算法，虚线为包括平面传播的局部一致性倾斜窗口模型。

图5  本文提出的两种模型对比

Fig.5  Comparison of the two models proposed in this paper

下载: 原图 | 高精图 | 低精图

结合图5和表1的数据可以看出，本文提出的局部一致性平行窗口模型在与包含平面传播的倾斜窗口的对比中优势明显。其原因是三角剖分使用的点集是由鲁棒性高的支撑点组成，所以根据这些点进行三角剖分得到的平面参数接近于正确解。而本文舍弃的平面传播是通过设置视差和法向量变化范围并随机生成增量的方式来找一个代价更小的平面。这时平面传播相当于一个噪声敏感模型，既当前像素及其周围像素的平面参数与正确解偏离极小，平面传播中随机获取视差增量及法向量增量的过程相当于噪声扰动，当邻域内都是“正确”解时，扰动极易在图像内传播，导致误匹配率偏高。而且在相同迭代传播次数的前提下，平行窗口因缺少平面传播过程，其效率比倾斜窗口更高。因此局部一致性平行窗口模型性能更优。

4.1.3　本文算法与其他算法对比

为验证本文算法的优越性，本文将实验结果与传统算法和新颖算法做对比，其中GA-Net［26］（Guided aggregation net）为基于CNN的新颖立体匹配算法，ELASF［22］为基于ELAS的新颖立体匹配算法，而传统算法使用的是将局部立体匹配算法和半全局立体匹配算法相结合的AD-Census［27］算法。相同情况下，图6、图7、图8和表2是相同情况下本文算法与对比算法的主观效果和客观效果对比图。

图6  不同算法在Middlebury3.0图像对上的实验结果。（a） 参考图像；（b） 真实视差图；（c） AD-Census算法；（d） ELASF算法；（e） GA-Net算法；（f） 本文算法。

Fig.6  Experimental results of different algorithms on Middlebury 3.0 image pairs. （a） Reference image； （b） Real disparity map； （c） AD-Census algorithm； （d） ELASF algorithm； （e） GA-Net algorithm； （f） Algorithm in this paper.

下载: 原图 | 高精图 | 低精图

图7  本文方法与对比算法在非遮挡区域的对比

Fig.7  Comparison of the method in this paper and the comparison algorithm in the non-occluded area

下载: 原图 | 高精图 | 低精图

图8  本文方法与对比算法在全部区域的对比

Fig.8  Comparison of the method in this paper and the comparison algorithm in all areas

下载: 原图 | 高精图 | 低精图

表2  对比算法在不同区域的平均误匹配率

Tab.2  Average mismatch rates of algorithms in different regions( % )

Ebad/% AD-census ELASF GA-net Proposed

non 26.19 22.23 26.91 21.89

all 34.59 30.53 30.17 29.71

下载: 导出CSV

图6为不同算法的主观效果图，红框内区域为效果提升明显区域。其中AD-Census算法的整体表现较差，如Artl、PlaytableP等出现纹理模糊、边缘效果差的问题。而ELASF算法对轮廓处理效果较差，如Pinao纹理不清晰，Vintage阴影处理较差。GA-Net算法视差图视差值偏小导致整体亮度较暗，对纹理边缘处理效果较差，如Japeplant。

图7和图8为本文算法与3种对比算法的对比图，如图所示，与对比算法相比，本文算法在大部分图像中都能取得优势。其中，本文算法在非遮挡区域与全部区域与GA-Net算法对比分别在13、10组数据上取得优势，平均值如表2所示，分别提高约5.02%、0.46%。分析认为，虽然GA-Net使用训练好的模型，但是当应用本文使用的数据集时，由于缺少特征信息导致切换场景时匹配效果下降，深度学习算法在陌生场景效果较差。而本文算法不需要进行训练且能取得较好效果。

另外，本文算法与AD-Census与ELAF两个传统算法相比同样能取得显著优势。本文算法在非遮挡区域与全部区域与AD-Census算法相比都能在12组数据上取得优势，经对15组数据计算，误匹配率总降低分别为68.15%、73.11%，平均降低分别为4.3%、4.9%。对于ELASF算法，本文算法在非遮挡区域与全部区域分别能取得9、10组优势数据，经对全部的15组数据计算，误匹配率总降低分别为5.23%、12.22%。

4.2　不同迭代次数对比

为说明本文算法效率上的提升，图9给出了本文算法与PMS算法迭代11次的结果，其中红色表示本文算法逐次迭代结果，其他颜色表示PMS算法的逐次迭代结果。两种方法采用堆叠的方式显示，直观上当条形柱全都被红色覆盖时，表示本文算法误匹配率高于PMS的误匹配率；反之，则低于PMS的误匹配率。

图9  本文算法与PMS算法的11次迭代结果

Fig.9  Results of 11 iterations of the algorithm in this paper and the PMS algorithm

下载: 原图 | 高精图 | 低精图

由图9可知，本文算法在多次迭代过程中不仅与PMS算法同样保证了收敛性，而且效果更优。对于多数图像对，局部一致性平行窗口模型在完成第一次迭代时误匹配率就已经低于PMS的误匹配率，这表明本文算法在更少的计算开销下，达到了更优于PMS算法的性能。

表3对比了本文算法与PMS算法前3次迭代结果，加粗数据项表示该次迭代最优值。由表可知，无论使用PMS算法还是本文算法，第二次迭代传播的误匹配率会显著降低。而在第二次迭代传播的结果中，与PMS算法相比，局部一致性平行窗口取得了13组的优势（与第三次迭代结果相同），局部一致性倾斜窗口取得了12组的优势；同时局部一致性平行窗口有11组最优数据（与第三次迭代结果相同），局部一致性倾斜窗口只有两组最优。通过第三次迭代结果减去第二次迭代结果可知，本文算法误匹配率在MotorcycleE组升高最多为0.35%，在ArtL组降低最多为0.29%，误匹配率平均降低0.1%；PMS算法在Adirondack组升高最多为0.74%，在MotorcycleE组降低最多为0.37%，误匹配率平均上升0.01%。既PMS算法迭代3次时，其误匹配率不会明显升高，而局部一致性平行窗口也未有明显变化。因此，相对于PMS算法提出的3次迭代达到最好的效果，本文算法则提出进行2次迭代效果最好，且减少迭代次数能够减少计算量从而提高算法效率。

表3  不同迭代次数的误匹配率

Tab.3  Mismatch rate for different iterations( % )

Data name 第一次迭代 第2次迭代 第3次迭代

PMS Prop-sla Prop-par PMS Prop-sla Prop-par PMS Prop-sla Prop-par

Adirondack 20.08 16.43 9.820 21.35 20.37 6.574 22.09 21.27 6.669

ArtL 18.35 15.48 22.03 15.42 14.43 13.54 15.48 14.14 13.25

Jadeplant 28.23 27.58 49.50 25.25 24.84 46.54 24.95 24.93 45.66

Motorcycle 15.82 14.19 13.72 14.68 13.78 11.44 14.49 13.73 11.67

MotorcycleE 21.26 17.59 16.08 20.30 17.41 13.57 19.93 17.51 13.92

Piano 28.43 26.92 28.41 27.19 25.95 25.88 27.03 25.95 25.67

PianoL 43.32 40.45 37.01 43.79 42.37 34.41 43.56 43.82 34.13

Pipes 18.51 16.82 19.55 17.79 16.84 15.58 17.76 16.94 15.39

Playroom 33.01 30.22 31.27 32.12 30.48 27.07 31.99 30.75 27.15

Playtable 17.99 18.45 22.34 19.03 19.52 17.59 19.53 19.80 17.54

PlaytableP 12.45 11.75 14.65 12.43 12.07 10.90 12.48 11.90 10.70

Recycle 21.66 20.45 18.85 20.76 20.87 16.54 21.42 21.30 16.65

Shelves 50.53 50.10 46.20 50.09 49.76 46.29 49.86 49.76 46.63

Teddy 7.471 7.015 9.251 6.83 7.632 6.013 6.809 7.609 6.097

Vintage 31.64 30.20 45.19 29.78 29.12 41.14 29.70 29.51 40.26

下载: 导出CSV

5 结论

本文提出的基于局部一致性约束的立体匹配算法不仅能降低误匹配率，而且减少了迭代次数，使算法效率得到提高。针对PMS算法忽略视差连续性约束这一重要假设的问题，本文通过稀疏匹配得到鲁棒性高的支撑点集，使后面求得的平面参数更加接近于正确解。通过三角剖分划分点集为图像中的像素点找到接近于正确解的平面，求出每个平面的平面参数并赋值给平面内的点，在保证连续性约束的同时减少了后续迭代次数。另外，本文根据自身算法优化迭代传播过程，通过迭代传播为每个像素点找到更准确的平面，求出视差值并进行视差后处理。在Middlebury数据集上的实验结果表明：本文算法与PMS算法相比，平均误匹配率降低了4.39%，其中对单个图像误匹配率最高降低15.42%。本文算法通过在初始阶段为像素点找到接近于正确解的平面，解决了需要多次迭代找到正确解的问题，在降低误匹配率的同时减少了迭代次数，进而减少了计算量。