[发明专利]一种网球比赛专用定位捡球系统及其方法

权利要求书

1.一种网球比赛专用定位捡球方法,其特征在于，包括：

获取设置在比赛场地内的多个已经编号的深度相机采集的现场图像，所述多个深度相机的拍摄视野能够覆盖整个比赛场地；

调用采集的网球场比赛相关的图像数据集训练YOLOv5网络，其中，所述图像数据集包含各种光线下球场各种位置有网球和没有网球的图像，网球场上的人、网球拍、捡球机器人的图像,并且对图像数据集中的网球、人、网球拍、捡球机器人进行标注，便于训练YOLOv5网络识别这些物体；

调用训练好的YOLOv5网络对每一所述现场图像进行实时检测，以识别出实时图像中出现的网球、网球拍、球场中的人、捡球机器人；

通过深度相机对识别出的含有目标物体的图像的解析，得到出现在图像中的网球、人、网球拍、捡球机器人相对于已编号深度相机坐标系的三维坐标，调用调试好的深度相机的的外参矩阵将生成的物体的三维坐标转换到世界坐标系下，以实现比赛中对网球的定位，便于后续的数据分析处理；

对收集的网球世界坐标系的瞬时三维坐标信息进行数据处理，得出网球特征数据，通过调用卡尔曼滤波算法对网球进行跟踪，如果是相邻2个深度相机在视野重叠范围内识别出同一个网球的位置信息，以编号小的深度相机采集的数据信息作为分析数据来源处理，避免重复的数据分析处理，其中，所述网球特征数据包括网球瞬时时刻的位置坐标、速度、加速度以及对应识别网球的深度相机的编号；

检测网球状态，并根据所述网球特征数据确定最适合捡球的机器人；最适合捡球的机器人为离网球最近的捡球机器人，其中，所述检测网球状态包括以下两点的检测识别，第一点：确定是否为需要捡网球的状态，从网球比赛的规则得到比赛的时候网球在任意一个半区的范围包括该半区界外延伸的场地如果连续着地两次意味着一定有一方运动员得分或者需要重新发球，利用这个特征作为鉴别是否需要捡球的条件之一；符合这个条件再检查网球两次着地期间的图像中网球是否和人或球拍有接触，避免将其他一些不需要捡球的情况错误识别为需要捡球的情形；第二点：识别网球平行于地面方向的速度是否小于等于捡球机器人的行驶最大速度的0.8倍；

利用三角定位算法计算得到捡球机器人运动时候的瞬时位置；

在前期给网球场建图的基础上利用A*算法对捡球机器人进行全局路径规划，动态窗口算法用来进行局部避障；对所述网球特征数据以及所述捡球机器人的当前位置、捡球机器人的运动特性参数、障碍物信息进行数据处理，以生成捡球机器人的路径规划；其中，所述捡球机器人的运动特征参数包括可行驶最大速度、最大加速度、转弯最大速度、最小转弯半径；

将所述路径规划发送给捡球机器人，以使得捡球机器人无限靠近网球，捡球机器人也配备深度相机，可识别视野范围内的网球来辅助跟踪网球，捡球机器人通过调整适当的位姿从而成功完成捡球，并回到原位置继续待命。

2.根据权利要求1所述的一种网球比赛专用定位捡球方法，其特征在于，需要将所识别的物体的的坐标通过转换矩阵转换到世界坐标系；所述参与转换的坐标系包括世界坐标系，相机坐标系，图像坐标系，像素坐标系；其中，所述世界坐标系，用于描述相机位置，有一中心点O_W和X_W、Y_W、Z_W三轴；所述相机坐标系，原点O_C为相机光心,有X_C、Y_C、Z_C三轴，Z_C轴与相机光轴平行；所述图像坐标系，原点O在图像的中心，有x、y两轴；所述像素坐标系，原点o在图像左上角，有u、v两轴。

3.根据权利要求2所述的一种网球比赛专用定位捡球方法，其特征在于，通过转换公式将所述采集的图像中识别的物体从所述像素坐标系转换到所述图像坐标系；其中，u_o、v_o分别为所述图像坐标系的原点在所述像素坐标系下的横、纵坐标值。

4.根据权利要求2所述的一种网球比赛专用定位捡球方法，其特征在于，通过小孔成像理论将所述采集的图像中识别的物体从所述图像坐标系转换到所述相机坐标；其中，转换公式为