[发明专利]一种对目标物的检测跟踪系统及其方法

权利要求书

1.一种对目标物的检测跟踪系统，其特征在于，包括：片上多处理MPSoC模块、镜头、云台、通讯模块和外设模块；

其中，所述云台通过RS485接口与所述MPSoC模块连接，所述云台用于接收所述MPSoC模块发送的控制命令，并带动所述镜头在水平范围内进行360度的旋转和/或垂直范围内的180度俯仰转动，所述云台还用于调节所述镜头的焦距；

所述镜头搭载于所述云台上，通过低电压差分信号LVDS接口与所述MPSoC模块连接，用于采集所述目标物的LVDS，所述镜头还用于将采集的LVDS通过LVDS接口发送到所述MPSoC模块的视频图像处理单元VIPU；

所述MPSoC模块包括处理系统PS和可编程逻辑PL，所述PS包括四核处理系统、图像处理单元GPU，所述四核处理系统用于运行C++应用程序和所述云台的控制程序；所述PL包括所述VIPU、深度学习处理单元DPU和视频编码单元VCU，所述PS与PL通过AXI高速总线连接；

所述通讯模块，用于所述检测跟踪系统的无线通信，所述通讯包括以太网模块、5G模块和WiFi模块；

所述外设模块，包括存储器、电源、键盘、鼠标、显示器。

2.根据权利要求1所述的检测跟踪系统，其特征在于，所述镜头为LVDS相机模组，用于采集LVDS；

所述VIPU用于将所述镜头采集的LVDS转换为24bit的RGB视频图像数据，所述RGB视频图像数据大小为1600*900，所述VIPU还用于将所述RGB视频图像数据由RGB格式转换为BGR视频图像数据，将所述BGR视频图像数据由1600*900缩小为608*608，并将所述将缩小后的BGR视频图像数据发送到所述DPU；

所述DPU，用于接收所述缩小后的BGR视频图像数据，并对所述缩小后的BGR视频图像数据进行yolov3算法卷积处理，得到所述目标物的yolo层数据；

所述四核处理器，用于从所述目标物的yolo层数据中筛选出满足阈值条件的N个候选框；对所述N个候选框根据置信度从大到小进行排序；从所述排序后的所述N个候选框中筛选出目标框，其中，N为正整数；

所述四核处理器用于根据所述目标框确定到所述目标物的坐标信息(x,y,w,h)；

所述四核处理器用于读取所述存储器中存储的所述目标物图像，并根据所述目标物的坐标信息将所述目标物在所述目标物图像中框定出来，得到画框后的所述目标物的视频图像；

所述四核处理器还用于根据所述目标物的坐标信息计算所述云台的水平、垂直转动角度、所述镜头的变倍数，获得用于对所述云台的控制命令，并向所述云台发送所述控制命令；

所述VCU，用于对画框后的所述目标物的视频图像进行编码，得到所述目标物的H264编码视频图像，并将所述目标物的H264编码视频图像通过所述通讯模块发送至后台服务器；

所述云台用于在接收到所述控制命令后，带动所述镜头转动，并调节所述镜头焦距。