[发明专利]基于DNNDK模型的运动目标实时检测跟踪系统及方法

权利要求书

1.基于DNNDK模型的运动目标实时检测跟踪系统，其特征是，包括：MPSoC芯片、驱动器、云台、摄像头、内存、电源和显示器；其中，MPSoC芯片包括彼此连接的PS模块和PL模块；

所述云台上搭载摄像头，所述摄像头在所监视范围内进行360度的旋转拍摄；所拍摄的图像输送到内存进行缓存；

MPSoC芯片的PS模块从内存中读取图像，并将图像传输给PL模块，PL模块对图像进行预处理，然后将预处理后的图像输入到PL模块的深度学习处理单元DPU，得到Darknet-53网络结构的两个网络分支的yolo层数据；将Darknet-53网络结构的两个网络分支的yolo层数据发送给PS模块；

所述深度学习处理单元DPU中部署有训练好的YOLOv3算法的Darknet-53网络结构，所述训练好的YOLOv3算法的Darknet-53网络结构是通过深度神经网络开发工具包DNNDK进行处理后部署到深度学习处理单元DPU中的；

MPSoC芯片的PS模块对Darknet-53网络结构的两个网络分支的yolo层数据进行处理，根据设定阈值对目标候选框进行筛选，得到最终的待检测跟踪目标的坐标位置，根据最终的待检测跟踪目标的坐标位置生成云台转动的控制指令，将生成的云台转动控制指令发送给驱动器，驱动器控制云台转动，云台带动摄像头转动，转动后的摄像头进行下一个视角的图像拍摄。

2.基于DNNDK模型的运动目标实时检测跟踪方法，其特征是，包括：

摄像头对待检测跟踪目标进行视频采集，获得待检测跟踪目标的视频流；将视频流传送给内存进行存储；

MPSoC芯片的PS模块从内存中读取图像，并将图像传输给PL模块，PL模块对图像进行预处理；将预处理后的图像输入到PL模块的深度学习处理单元DPU，得到Darknet-53网络结构的两个网络分支的yolo层数据；将Darknet-53网络结构的两个网络分支的yolo层数据发送给PS模块；

所述深度学习处理单元DPU中部署有训练好的YOLOv3算法的Darknet-53网络结构，所述训练好的YOLOv3算法的Darknet-53网络结构是通过深度神经网络开发工具包DNNDK进行处理后部署到深度学习处理单元DPU中的；

MPSoC芯片的PS模块对Darknet-53网络结构的两个网络分支的yolo层数据进行处理，根据设定阈值对目标候选框进行筛选，得到最终的待检测跟踪目标的坐标位置，根据最终的待检测跟踪目标的坐标位置生成云台转动的控制指令，将生成的云台转动控制指令发送给驱动器，驱动器控制云台转动，云台带动摄像头转动，转动后的摄像头进行下一个视角的图像拍摄。

3.如权利要求2所述的方法，其特征是，所述MPSoC芯片的PS模块对Darknet-53网络结构的两个网络分支的yolo层数据进行处理，根据设定阈值对目标候选框进行筛选，得到最终的待检测跟踪目标的坐标位置，具体步骤包括：

MPSoC芯片的PS模块对Darknet-53网络结构的两个网络分支的yolo层数据进行处理，根据设定阈值对目标候选框进行筛选，对于置信度小于设定阈值的目标候选框予以删除，对置信度大于阈值的目标候选框视为最终目标框；进而得到最终待检测跟踪目标的坐标位置；所述最终待检测跟踪目标的坐标位置是最终目标框的坐标(x,y,w,h)，其中，x表示最终目标框的横坐标，y表示最终目标框的纵坐标，w表示最终目标框的宽，h表示最终目标框的高。

4.如权利要求2所述的方法，其特征是，MPSoC芯片设有SD卡接口槽，所述SD卡接口槽中安装SD卡，所述SD卡上部署Linux系统，当MPSoC芯片通电以后，MPSoC芯片通过SD卡进行系统启动。