基于级联特征和图卷积的三维手部姿态估计算法

在姿态估计中，常见的手部模型有21关键点、16关键点、36关键点。本文采用Open Pose^［1］提出的标准手部21关键点模型。其中编号为0的关键点是手腕，其余每根手指分别有4个关键点：指关节、近端指关节、远端指关节、指尖。本文所有对二维和三维的关键点估计都是建立在该手部模型之上。

用深度学习的方法进行手部姿态估计，一般是分阶段进行的。本文提出的网络框架按照处理目的分为4个部分：手部的识别、手部二维关键点的检测、手部三维关键点的检测、 手部三维关键点的精细化调整。

手部的识别采用轻量级网络回归手部边框（Bounding Box）作为后续主体网络的预处理操作，使得后续关键点的定位更加准确，同时处理后图片像素的减少也使得后续计算量减小。手部二维和三维关键点的检测通过搭建卷积神经网络提取图像特征，依据区域或者特征的重要程度对权重进行调配，引导级联特征提取模块获取更加丰富的基础提取特征，监督网络主动输出越来越精确的热度置信图。手部三维关键点的精细化调整是将三维关键点粗结果基于图卷积神经网络算法进行优化后处理，拟合出更加精确的手部三维关键点坐标。

常见的手部预处理方法分为基于数字图像处理方法和基于深度学习方法两大类。前者一般采取分割算法得到手部掩模定位手部区域，例如将RGB图像转化为灰度图像再转换成二值图像并选取二值图像的前景部分作为手势提取区域^［7］。

本文采取基于深度学习方法的手部预处理网络，如图1所示。在进入主体网络流程前，先采用基于YOLOv3^［8］的预处理网络用于将输入图片中的手部和混杂的背景剥离。YOLIOv3相比其他深度学习检测网络的优势在于引入Darknet-53作为骨干网络，采用K-means聚类法^［5］回归出9种大小不同的先验框，并且根据金字塔特征图思想，小尺寸的先验框用于耦合大尺寸的特征图，大尺寸的先验框用于耦合小尺寸的特征图，可以很好地整合不同尺度的感受野的特征，识别输入图片中不同占比的手部。我们将自然场景下的图片输入预处理网络，通过调整Darknet-53网络内卷积核大小可以控制输出的特征图大小，因此对任意尺寸的输入数据经过这个预处理网络都可以输出固定256×256×3尺寸的、剥离背景单独手部的手部边框图片传输给接下来的网络。

图1  网络流程图

Fig.1  Network flow chart

如图1所示，二维特征提取模块使用经典的ResNet50^［9］网络，输入256×256×3的RGB图像输出32×32×256的二维特征图。相比于直接回归关节点坐标，基于热度图的方法具有渐变连续可微分的特点，可以提高坐标估计的精细程度^［10］，因此我们在二维和三维检测模块融合多特征热度图。

二维检测模块是一个两层的全连接卷积层。输入32×32×256的二维特征图，输出二维热度图（Heat Maps）。二维热度图包含21个手部关键点的关节预测置信图，通过二维高斯函数编码每个像素点被每个关键点覆盖的置信度，其公式如式（1）所示：

其中l代表第l个关键点，σ为函数的宽度参数，（x，y）代表该点像素坐标，（u，v）是中心点坐标，即该关键点二维真值（Ground truth）坐标。

三维检测模块从多热度图和特征图回归三维手部姿态。如图1所示，将二维特征图和二维热度图（2D Heat Maps）进行层级串联，得到二维联合特征图，对二维联合特征图进行卷积操作，得到三维偏移热度图（3D Delta Maps）。三维偏移热度图是子节点相对于根节点的三维方向向量，可以很好地反应父子节点之间的位置关系，将三维偏移热度图作为中间热度图为三维检测模块预测结果添加运动学约束，使网络架构嵌入类似手部结构的物理限制。将二维联合特征图和三维偏移热度图进行层级串联和卷积层操作，分别从XYZ坐标轴表示的图中选择置信度最大的点所对应的值为坐标轴的数值，对XYZ轴都执行以上操作，将得到的值保存为三维坐标点^［11］，就得到了三维位置热度图（3D Location Maps）。三维位置热度图和二维热度图一样，反映了每个像素被每个手部关键点的三维坐标覆盖的预测置信度。特征提取网络具体级联结构如图2所示，为了能更好地预测三维位置偏移量，我们先预测一个二维热度图，将其作为三维热度图的一个条件来提升对三维位置预测的准确性。之后我们再将二维热度图和三维偏移图作为共同条件和特征结合在一起去预测最后的三维位置，通过这样多层级联的条件来得到更加准确鲁棒的位置信息。

图2  级联特征提取网络结构

Fig.2  Cascade feature extraction network structure

对于手部骨架而言，它本身是一个天然的图结构。因此我们很自然地想到基于图卷积神经网络（Graph Convolutional Network， GCN）方法来获取它内部的隐式关系^［12］。GCN的计算过程与信号处理过程相同，先将卷积核和图数据通过傅里叶变换转换到频域空间，再对频域空间的系数进行数值运算，最后进行逆傅里叶变换得到卷积后的结果。

利用上述模块生成热图后，采用积分回归方法^［13］将热图表示转化为坐标表示，作为GCN特征增加网络的初始输入姿态。对热度图的初始化姿态进行softed-argmax操作，将热图传播到Softmax层中，该层将热度图像素值标准化为似然值（0~1）之后，再对似然图层进行积分运算求和操作，从而估算关节位置：

其中，Jˆki表示第k个关节的位置估计，A表示似然区域，Hk(p)表示p点上的似然值。因此，每个热图矩阵都包含生成初始姿势的信息。

热图模块和坐标转换相互耦合，使得GCN特征增强网络可以获得更准确的初始化姿态，有助于在进行校正之前获得更精确的局部上下文理解。此外，由于尺寸的限制，基于热图的表示在一定程度上导致了关键点的量化误差，转化为坐标后可以解决这个问题。

由于手部姿态估计涉及的节点数量较多，我们使用切比雪夫多项式进行逼近。当有n个节点时，得到GCN层与层之间传播公式如式（3）所示：

其中， D˜=D+I,A˜=A+I，I是单位矩阵，A是代表各个节点之间位置关系的n×n维的邻接矩阵（Adjacency matrix），D˜是A˜的度矩阵（Degree matrix）。X是输入层的特征，Z是输出层的特征，X∈Rn*m，m是特征向量的维度，W是网络需要学习的权重，W∈Rm*d，d是输出向量的维度。

考虑到特征图之间感受野的由粗到细，我们在模块中设计了一种从粗到精的学习过程，用于增强局部特征学习，纠正部分遮挡的手部关键点的坐标。由于基于坐标的模块缺少图像的上下文信息，我们为每个关节位置挖掘了相关的图像特征，并融合到模块中。如图1所示，通过双线性插值采点，将从图像特征中挖掘出的初始关键点坐标（x，y）上的节点特征输入到渐进图卷积层中来改善姿态估计结果。渐进GCN特征增强模块网络结构如图3所示，对抽取的每个图卷积的节点特征，我们用3个密集连接的GCN模块来抽取特征，并通过层级1、2的预测在每个层级中进行监督，在最后一层输出预测的三维手部关键点坐标。该机制建立了渐进的GCN架构，并通过逐步融合多尺度图像特征来优化关键点输出。

图3  渐进GCN特征增强网络结构

Fig.3  Progressive GCN feature enhancement network structure

整体网络是基于端到端的学习，通过多任务学习的策略使得网络结果更好地收敛。损失函数的定义如式（4）所示：

其中Lheat为二维热度图损失函数，表示为Lheat=∣∣HGT−Hˆ∣∣2，这里HGT为热度图的真值，Hˆ为网络估计的热度图；Ldeltat为三维偏移热度图损失函数，表示为Ldelta=HGT⊙∣∣DGT−Dˆ∣∣2，这里HGT作为掩模，DGT为热度图的真值，Dˆ为网络估计的热度图，⊙表示的是逐像素积。同理，三维位置热度图损失函数Lloc=HGT⊙∣∣LGT−Lˆ∣∣2。LGCN是图卷积神经网络的损失函数，其定义如式（5）所示：

其中Ω为目标点集，对于我们的手部重建的目标关键点其个数为21个；j表示的是第j层图卷积网络的输出结果。通过这种多层级的三维骨架估计监督可以让网络表现出更好的结果。M是一维度的向量表示关键点掩模，如果关键点存在标注数据，M[i]=1，否则为0。

对于手部的骨架姿态估计而言，其本质是一个回归问题，回归问题的指标很难通过上述二分类的指标来进行度量。为了验证模型的优越性，这里使用3D 平均准确性（Percentage of Correct Keypoint，PCK）和2D 的关节点相识性（Object keypoint similarity，OKS）进行评价。3D PCK的计算公式如式（6）所示：

其中i表示关节点的编号，di表示第i个关节点的预测值和表达的欧氏距离。d为人体骨架的尺度因子，T为关键点的阈值。在本次实验中d为手掌中心岛中指末端的欧式距离，T的阈值设为0.1。

同理2D OKS的度量公式如式（7）所示：

其中s通常指人体骨架的尺度因子，本次实验设置为手部最小外接框的面积的根；σi是一个归一化因子，与关键点标注的难易有关，这主要是根据数据集的标注分布决定的；vi表达的是某些关键点i是否存在标答（数据集中该关键点是否标注了真值）。

对于3D的PCK值，由于需要设定一定的阈值，因此在数值结果受到了阈值T的影响。在机器学习中通常使用一种度量方式来计算这类数字的分数，我们称之为曲线下面积值的平均（Area Under Curve，AUC）。AUC曲线的计算公式如式（8）所示：

这里我们设Ti=aid，ai设为20~50 mm，中间取10个间隔。

本文在以下5个数据集上展开模型的训练和测试，多维度验证我们设计的人体手部姿态估计器的性能。

CMU Hand Keypoints Detection Dataset^［14］是由卡内基梅隆大学发布的手部骨架估计的数据集。Rendered Handpose Dataset（RHD）^［15］是由弗莱堡大学在2017发布的手部姿态渲染数据集。Dexter+Object^［16］是2016年由德国的马普所发布的手部重建和手部对象跟踪的数据集。Ego Dexter datasets^［17］是由MPI于2017年发布于ICCV2017的数据集。GANeratedDataset^［18］是由MPI在CVPR2018年推出的数据集，该数据集主要是由GAN生产的合成数据集。

实验所用数据的分布如表1所示，记录了数据集所含有的标注及被本次实验用作训练集和测试集的数据量。此外，原始的Dexter^［16］数据集有1 912训练集和846验证集，但是考虑到更加充分的验证算法，我们将1 912个训练集也作为本次实验的测试集。

实验过程中的数值曲线如图4所示，其中图4（a）是训练过程中的损失曲线，lossH是二维热度图损失值，lossD是三维偏移热度图的损失值，lossL是在经过渐进GCN模块后的三维关键点损失值。从图4（a）可以看出，输出的粗结果在经过多热度图耦合的三维关键点检测器和渐进的GCN模块的精细化调整后可以收敛出更低的损失值。图4（b）、（c）、（d）分别表示在RHD^［15］、DO^［16］、ED^［17］测试集下每个训练周期下的AUC值。

图4  网络训练时的损失函数曲线和在验证集下的AUC精度曲线

Fig.4  Loss function curves during network training and AUC accuracy curves under the validation set

本次实验主要和Xiong Zhang等人提出的Mesh2HAND^［19］‍、Donglai Xiang等人提出的Mon-Cap^［20］、Adnane Boukhayma等人提出的3D pose in the wild^［21］以及Y X Zhou等人提出的Minimal-hand^［5］进行对比。

定量的实验结果与上述4种方法比较对照如表2所示，其中20 mm和30 mm分别指当阈值取相应值时的PCK值，AUC是当阈值取20~50 mm时的PCK曲线面积值。由表2可见，我们所改进的方法在3D骨架回归任务上的结果在各个数据集上的AUC曲线都优于其他方法。具体来说，我们所提出的方法相较于Minimal-hand^［5］在DO数据集上AUC大约高了0.8%，在ED^［17］数据集上比Minimal-hand^［5］ AUC大约高了0.7%。对于RHD^［15］数据集，我们所设计的方法比Mesh2Hand^［19］ AUC高了大约3%。就单纯的PCK值而言，我们所提出的方法更加接近于真实值，在阈值设为20 mm处，我们提出的方法在DO^［16］数据集上比最好的方法高了0.9%，在RHD^［15］数据集上比最好的方法高了0.8%。虽然在ED^［17］数据集上略低于最好的方法，但是在阈值30 mm处，我们提出的方法远高于最好的方法（相较于Minimal-hand^［5］高了大约3.7%）。

本次实验的操作系统为Ubantu18.04，CPU核为i5-6500，GPU的配置为GTX-2080 11 GB。在图像分辨率为256×256的情况下，对算法处理时间和所需功耗进行分析。如表3所示，算法所需的推理时间为52 ms，算法所需的每秒浮点计算量（FLOPs）为9.3×10⁸次。结合算法对照实验分析可知，我们提出的算法在处理时间上和模型复杂度上处于较优水平，不仅推理时间和计算量近似于Minimal-hand^［5］，而且姿态估计精度在多个数据集上都超过了Minimal-hand^［5］的效果。

该结果表明在不影响算法速度的情况下，我们提出的算法在效率上得到了较大的提升，识别推理的帧率（Frames Per Second，FPS）达到了19.23，因此该算法可以使用在视频流的实时手部骨架检测中。与此同时，较小的计算量满足了对模型低功耗、轻量化的需求。

我们选择在上述定量分析中4个对照方法中精度指标表现最好的Minimal-hand^［5］作为定性分析对象。定性的可视化结果如图5所示（在RHD^［15］测试集上的检测结果）。从图中高亮部分的细节可以看出，本文算法在测试集上的结果明显优于Minimal-hand^［5］算法。在引入渐进GCN模块后，手部骨架耦合了图结构的约束，使得其在一些自遮挡比较严重的场景下，也能够检测出合理的结果。

图5  可视化实验结果对比

Fig.5  Comparison of visualization experimental results

在自然场景下，涉及手物交互时骨架回归结果如图6所示。由于人手在抓取物体过程中出现了大面积的遮挡，导致骨架回归结果在尺度的还原上有些许偏差。除了部分关键点遮挡因素外，我们分析误差的产生还有以下原因：由于当前手部3D训练数据集真实数据不足，因此参与实验的训练数据大多是CG合成的虚拟3D数据集，或者是通过实验室设备所收集的特定场景下标定好的真实数据集，并且单目RGB相机在投影时失去了深度信息。因此将该算法用于自然场景下时，存在着较大的状态空间误差（Domain Gap），从而导致了些许计算误差。此外，最终输出的3D坐标的回归在一定程度上依赖于初始化的3D坐标位置，在初始坐标位置偏差较大时，会导致系统估计的姿态坐标产生回归误差。

图6  自然场景下的可视化结果

Fig.6  Visualization results in the wild

尽管如此，本文模型在精度指标上和大致的形体姿态上还是表现得足够精准，总体上算法可以在自然场景下给出合理的估计结果，这体现了我们算法整体的鲁棒性。