基于YOLOv3和坐标映射的变电站作业人员精确立体定位算法研究

作者：冯伟夏郭建龙薛江温满华肖叶枝李翔来源：《武汉大学学报（工学版）》日期：2022-08-13人气：783

变电站设备的运行维护是保证电力系统安全与稳定运行的有效手段，高压线路与设备静电等因素使得作业人员存在触电的风险，给人身与设备带来安全性问题。近年来，位置服务信息技术在电力系统安全监视中得到了广泛应用，通过定位获取作业人员位置信息，为降低作业风险提供了支持。

目前，定位系统种类繁多。最早的全球定位系统（global positioning system， GPS）技术实现了对目标的定位^［1］，但其精度级别为m；美国Zebra公司推出的Dart UWB系统精度为30 cm，测距范围达100 m^［2］，解决了传统GPS定位漂移等问题；无线网络（wireless fidelity， Wi-Fi）实时定位利用无线网络与Wi-Fi标签和相关设备实现目标定位^［3］，解决了超宽带（ultra wide band， UWB）中频率管制与宽带局限性等问题。但以上定位技术均为接触式，作业人员需穿戴或手持相关定位设备，造成作业人员工作上的不便，且其造价昂贵，鲁棒性较低，定位信号覆盖范围小^［4］。机器视觉定位技术利用目标检测与定位算法，解决了传统接触式定位问题^［5］。Grishick提出的基于区域的快速卷积神经网络（fast region-convolutional neural network， Fast R-CNN）网络实现了目标检测，但其检测准确率低^［6］。Dai等人提出的基于区域的全卷积网络（region-full convolutional network， R-FCN）算法提高了目标位置的预测精度，但其灵活性差^［7］。基于全新网络设计的YOLOv3解决了前者检测速度与召回率低等问题，并进一步提高了检测精度^［8］。基于作业人员定位要求需兼具检测速度与精度，因而采用YOLOv3网络对目标进行检测。

由于单目相机缺失深度信息，三维目标定位精确度低^［9］。而三维激光扫描定位缺失实时性，检测速度较慢，不能及时反馈作业人员位置信息。针对以上问题，本文将机器视觉二维定位与立体定位算法结合应用于变电站作业人员定位场景中。

1 作业人员定位算法总体设计

作业人员三维立体定位算法设计框架如图1所示，主要包括4个部分：数据采集、二维目标定位、映射模型建立与立体目标定位。

图1 三维立体定位算法总体框架设计

Fig.1 Overall framework design of 3D positioning algorithm

数据采集包括捕捉变电站中作业人员的图像数据以及采集三维场景的点云数据。本文采用海康威视DS-2CD3T86F型相机对该场景下红绿蓝（red green blue， RGB）图像进行采集，其最大分辨率为3 840×2 160，最大分辨率下采集速度为25 fps；激光扫描仪选择FARO Focus-3D-120对场景进行采样，通过点云建立三维模型，并在测试场景中设置标定点，提取获得标定点的三维世界坐标。

二维目标定位可实现对作业人员的检测识别与二维定位。通过YOLOv3网络提取出目标的关键点信息，实现二维目标定位。YOLOv3的均值平均精度（mean average precision， mAP）为55.3%，处理速度为34.4 fps^［8］，能够应用于本算法的快速检测和定位。

映射模型目标是获得图像像素点与三维世界对应点的映射关系，标定相机的内外参数。校正畸变后，通过提取图像与点云的对应点坐标可建立二维至三维场景的映射模型。

立体目标定位可将二维定位数据映射到三维真实场景中。通过三维坐标系与二维像素坐标系映射关系，可得二维目标模型任一点在三维空间中的立体信息。由于可视化电子围栏为二维俯视地图，本算法采用目标模型底框中心点坐标代表模型定位信息，最后通过验证与校正进一步对映射关系进行优化。

2 三维立体定位算法原理

2.1　作业人员二维定位

将采用YOLOv3框架作为目标检测网络，定位出图像中的人员躯干位置，该网络使用了类似特征金字塔的结构（feature pyramid network， FPN）^［10］。YOLOv3的主干网络为Darknet-53，采用大小为3×3以及1×1、步长为2的卷积核进行残差卷积，进行5次下采样获得5层多尺度特征层，并在高3层特征做目标预测^［8］。YOLOv3依照特征层的尺度大小分别将这3层特征层划分为13×13、26×26和52×52大小的网格，如图2所示，每个网格初始设置3个锚框，每个锚框将映射至原图预测相应的区域目标，遍历这些网格寻找物体的中心位置，并计算得到预测框的长和宽，最终返回目标候选框的最终位置和分类结果。目标候选框的中心坐标、宽度与高度计算式分别为

(1)

式中：b_x和b_y为候选框的中心坐标； $σ (t_{x})$ 和 $σ (t_{y})$ 为候选框中心相对于网格的偏移量； $c_{x}$ 和 $c_{y}$ 分别为对应特征单元的左上角像素坐标；b_w和b_h分别为候选框的宽与高； $p_{w}$ 和 $p_{h}$ 分别为锚框映射在特征图上的宽与高； $t_{w}$ 和 $t_{h}$ 为计算步长。

图2 YOLOv3 anchor预测模型

Fig.2 YOLOv3 anchor prediction model

由预测框与物体真实边界的交并比（intersection-over-union， IOU）对每个预测框设置一定的分数，保留大于设定的阈值（一般为0.5）的预测框，通过非极大值抑制（non-maximum suppression， NMS）筛除掉冗余的候选框并保留得分最高的预测框，最终返回最优的预测结果。当YOLOv3网络检测到人员目标时，将返回预测框底部中心的像素坐标（b_x，b_y+b_h/2）。基于YOLOv3的作业人员目标检测模型如图3所示。

图3 YOLOv3目标检测模型

Fig.3 YOLOv3 target detection model

2.2　定位映射模型建立

映射模型是将二维定位信息投影到三维空间的关键步骤。通过对相机进行标定^［11］，可得到二维坐标与三维空间坐标的映射关系，进而可对相机所能拍摄到的范围内的目标进行定位。图像畸变与外参噪声点会造成立体定位漂移，所以校正畸变系数与优化外参矩阵是提高精度的关键。

映射模型的建立涉及4个坐标系，即世界坐标系O_w-X_w-Y_w-Z_w、相机坐标系O_c-X_c-Y_c-Z_c、图像坐标系O-X-Y以及像素坐标系O-U-V。图4为4个坐标系对应关系。其中任意一点P在相机坐标系中的坐标为（x_c，y_c，z_c）；在世界坐标系中坐标为P_w（x_w，y_w，z_w）；在图像坐标系中为（x，y）；P_uv为对应的像素坐标点，其坐标为（u，v）。

图4 坐标系之间关系图

Fig.4 Relationship between coordinate systems

由小孔镜像原理以及坐标系变换原理，可得世界坐标系任意一点P_w与像素坐标系对应点P_uv的齐次映射关系为

(2)

式中：u、v分别为P点的像素坐标；s为相机的尺度因子；K为相机内参矩阵；R、T分别为外参的旋转矩阵及平移量； $R_{1}$ 与 $R_{2}$ 正交且模为1。

单应矩阵描述了世界坐标系和像素坐标系之间的关系，将世界坐标系对Z轴归一化处理后，进行单应性变换，即可得到P点在世界坐标系和像素坐标系的位置映射关系，即

(3)

对应的单应矩阵H为

(4)

即

(5)

根据约束条件R₁与R₂正交且模为1，可得

(6)

对式（6）进行求解可得单应矩阵。

由于透镜边缘存在严重的畸变问题^［12］，因此必须对畸变进行校正。假设（u，v）为理想无畸变的像素坐标，（ $\tilde{u}, \tilde{v}$ ）为对应的实际畸变后的像素坐标，（x，y）为对应理想的图像坐标，则相机畸变模型为

(7)

式中：k₁和k₂为畸变系数； $Δ u$ 、 $Δ v$ 分别为理想像素坐标与主点的距离。求解式（7）即可获得内参矩阵。

为了对式（7）进行求解，可通过构造L函数、最小化 $m_{i j} 、 \hat{m}$ 的位置误差来求解上述最大似然估计问题，即

(8)

式中：m_ij为三维场景中第j个点在第i幅图像上的像素坐标； $\hat{m} (K, k, R_{i}, T_{i}, M_{j})$ 为点M_j在第i幅图片上的投影；R_i，T_i为第i幅图片的外参矩阵元素；k为畸变系数矩阵。L-M（Levenberg-Marquardt）法常用于解决非线性最小二乘问题，达到数据拟合、参数估计与优化的目的^{［13，14］}，本文采用L-M算法对畸变系数进行求解。其中，雅可比矩阵可将非线性最小二乘问题转化为线性问题。对多张图像进行迭代求解，整体的雅可比矩阵为

(9)

式中：J_inⁱ、J_exⁱ分别为第i幅图对内参和外参的雅可比矩阵。

设 $δ$ 为L-M算法中可信赖的最大位移，即迭代步长，则

(10)

式中：E为误差序列。对式（10）进行求解可得到迭代步长，进而使用L-M算法对式（8）进行优化，得到优化后的畸变系数。

2.3　作业人员立体定位

针对单目相机在深度测量中的局限性，本文提出将二维目标映射至三维立体定位中。根据式（2）相机成像模型，像素坐标系下任意一点为其世界坐标系下对应点经线性变换后的像。由于上述单应矩阵的逆计算复杂，为了实现轻量级映射过程，定义R_c为像素坐标系至世界坐标系的变换矩阵，则

(11)

式中： $P_{w}$ 为世界坐标系坐标点； $P_{u v}$ 为像素坐标系坐标点。当存在足够数量的标定点时，对于变换矩阵可以采用最小二乘法对矩阵求解进行优化，当总体误差达到最小时，变换矩阵趋近于一个最优的值，此时的变换矩阵为

(12)

求解变换矩阵的过程即为完成对相机外参数标定的过程。

二维目标定位出关键点的像素位置 $P_{u v_{i}}$ 后，即可通过变换矩阵 $R_{c}$ 求解此目标在世界坐标系下的三维坐标 $P_{w_{i}}$ ，完成对目标的定位，即

(13)

3 定位算法测试结果分析

为验证本文定位算法的有效性，在广东电网公司某供电局变电站中的安全区域内模拟了变电站场景下人员目标定位测试。

通过对测试用相机进行标定，求得相机内参矩阵K=［5 964.1，0，0；0，5 987.6，0；3 988.9，1 004.3，1］，其畸变参数［k₁，k₂］=［-0.173 4，-0.065 9］。外参矩阵 $R_{c}$ =［0.004 7，-6.795 2×10^-5，8.281 2×10^-5，3.527×10^-19；-9.933 7×10^-5，0.010 4，2.700 4×10^-4，1.030×10^-18；-8.891 7，11.724 1，-0.456 1，1.000 0］。本测试采用公有数据集PASCAL VOC2007对YOLOv3进行训练。本测试在Windows10操作系统下，配合Tensorflow深度学习框架，基于硬件GTX1660Ti显卡（GPU）进行目标检测与定位。

3.1　目标二维定位结果与分析

待YOLOv3检测网络训练完毕，将经过畸变校正后的图像作为输入，识别出图像中的人员目标，输出目标的预测框信息，图5为部分测试结果。

图5 多目标检测结果

Fig.5 Multi targets detection results

由图5的测试结果可知，网络对测试人员目标具有较高的识别度，测试的目标平均置信度为0.93，人员目标识别准确率为100%。并且对于遮挡目标具有较好的识别效果，可实现多目标同时定位。

由于预测框是目标的外轮廓，因此预测框底部中心像素坐标（b_x，b_y+b_h/2）与实际站立的位置普遍存在偏移量，本文对检测出的结果的偏差进行了统计分析，并将修正后的像素坐标（b_x+p_u，b_y+b_h/2+p_v）代替人员在图像中的位置。

3.2　目标立体定位结果与分析

采用测试人员站立或行走经过标定点的方法进行目标定位测试。当测试人员站立或行走经过标定点时，输出图像中该检测目标的预测框底中心（x_i，y_i+h_i/2），根据上述像素坐标修正方法，对预测框底部中心与测试人员站立中心的偏移量进行修正，将修正后的目标像素坐标（b_x+p_u，b_y+b_h/2+p_v）映射至三维世界坐标系。目标预测位置与对应标定点位置的测试结果如图6所示。图6为对测试人员站立或行走经过标定点的定位与标定点位置对比结果，其中“*”代表测试人员经过标定点处预测的三维坐标，“o”代表对应标定点真实的三维坐标。

图6 预测坐标与真实坐标对比

Fig.6 Comparison between predicted coordinates and real coordinates

由图6可知：图像边缘区域目标定位的预测结果误差较大，原因在于远离中心点的位置仍有未消除的畸变；对于中心区域的位置具有较好的预测效果，预测位置与真实位置接近重合，取得了较好的预测效果。

预测点与真实点各维度误差如图7所示。由图7可知，对z方向位置的预测精度高，对x、y方向位置的预测存在一定误差。经过统计与计算，在相机所覆盖的拍摄区域下（15 m×12 m），本算法平均定位误差为0.26 m（欧式距离），测试相对误差为1.3%，能够较精准地定位出测试人员的位置，可以满足变电站作业人员定位的需求。

图7 预测点各维度误差

Fig.7 Errors of each dimension of predicted point

通过对上述测试各个过程进行分析，测试的定位误差主要由以下3部分构成：

1）制作工艺导致广角相机存在的畸变以及激光雷达设备采样时存在一定的偏差；

2）畸变不可能完全消除，导致二维图像定位以及映射模型构建时存在偏差；

3）测试人员站立以及行走的姿态等因素导致对图像中测试人员站立或行走位置的表征点提取存在不等量的偏差。

4 结论

本文提出了一种基于机器视觉的三维立体定位方法，通过单目相机结合激光扫描仪得到二维与三维的数据以及建立映射模型，进而实现对变电所作业人员的立体定位。在广东电网公司某变电站实地测试结果表明，二维图像目标识别平均置信度为0.93，识别准确率达到100%；对图像进行矫正的效果较优。三维模型与二维映射误差小，平均定位误差为0.26 m，测试相对误差为1.3%，满足变电站作业安全管控要求。本文提出的立体定位方法具有较高的抗干扰能力，精度较高，可操作性强，成本较低，能够满足变电站作业人员实际位置感知需求。后续将在现有研究基础上，结合实际工程应用，研究多相机法实现变电站全场景或大场景覆盖范围的人员目标定位系统。

关键字：优秀论文

上一篇：基于CEEMD‐SSA‐LSSVM短期电力负荷预测模型
下一篇：自然风主导城市街谷放射性污染物扩散特性模拟