[发明专利]一种基于深度学习的乒乓球轨迹跟踪装置及方法

权利要求书

1.一种基于神经网络的乒乓球轨迹跟踪装置，其特征在于，包括：姿态传感球拍、六轴传感器、无线传输设备、第一摄像头，第二摄像头、USB3.1传输设备、FPGA、视觉处理单元、中央处理器、显示屏、存储器、GPRS模块和网络设备，其中：

所述姿态传感球拍中设置姿态传感器，获取击球状态；

所述六轴传感器，安装在第一摄像头与第二摄像头上，获取摄像头俯仰角度；

所述无线传输设备，在2.4GHz频段无线传输姿态传感球拍与六轴传感器数据至中央处理器；

所述第一摄像头与第二摄像头为两个高速工业摄像头；

所述FPGA，进行网络输入图片预处理，接收第一摄像头与第二摄像头实时图像，进行尺寸压缩与滤波算法；

所述视觉处理单元，具有高DNN性能，获取FPGA预处理图片，运行基于RCNN的乒乓球目标检测网络，获得乒乓球识别结果；

所述中央处理器，获取网络识别结果，接收无线传输设备传输的数据，进行乒乓球二维坐标合成，进行基于梯度下降的乒乓球桌识别，分析得出击球数据；

所述存储器，存储中央处理器处理后的乒乓球轨迹数据及击球数据；

所述显示屏，显示中央处理器处理结果；

所述GPRS模块，连接显示屏，上传乒乓球识别轨迹及击球数据至网络设备；

所述网络设备，为可联网的移动终端，查看GPRS模块上传数据。

2.根据权利要求1所述的装置，其特征在于，所述第一摄像头水平放置，与乒乓球桌的球网保持同一水平位置，距离乒乓球桌0.37米，第二摄像头竖直放置，在乒乓球桌的球网正上方、乒乓球桌中央上方，距离乒乓球桌距离0.88 米。

3.一种基于神经网络的乒乓球轨迹跟踪方法，其特征在于，采用权利要求1或2所述的装置，方法包括基于梯度下降的乒乓球桌识别和基于RCNN的乒乓球目标检测。

4.根据权利要求3所述的方法，其特征在于，所述基于梯度下降的乒乓球桌识别，包括以下步骤：

S10，使用高斯平滑滤波器卷积降噪；

S20，使用一阶偏导算子计算梯度，

梯度幅值及相应方向计算公式：

其中，G_x为水平x方向掩码模板，G_y为垂直y方向掩码模板，θ为直线角度，

S30，进行非极大值抑制，提取单像素框边缘；

S40，使用双阈值方式，获取图片边缘信息；

S50，通过图片边缘信息点集创建直线族，并离散化直线角度θ＝-45°，0°，45°，90°；

S60，按点坐标(x，y)与直线角度θ求直线族长度R＝xcosθ+ysinθ；

S70，根据R值取局部极大值，通过乒乓球桌形状、颜色信息过滤干扰直线；

S80，通过图片边缘信息获取乒乓球桌边缘直线轮廓；

S90，对四条直线轮廓坐标计算交点得到乒乓球桌位置信息。

5.根据权利要求3所述的方法，其特征在于，所述基于RCNN的乒乓球目标检测，包括以下步骤：

S11，设定图片输入尺寸为416×416，使用CSPdarknet53_tiny作为主干特征提取网络提取图像特征，根据乒乓球像素半径r，设定特征层将图片进行x次分割，得到特征层shape(x,x,18)；

S21，获取数据集，将数据集划分为训练集、测试集和验证集，

S31，在训练集上采用K-means聚类算法聚类边界框坐标，计算出单个尺度卷积层特征图的3个边界框坐标。