[发明专利]一种多类别多尺度多目标抓拍方法及系统

权利要求书

1.一种多类别多尺度多目标抓拍方法，其特征是，包括如下步骤：

S1：获取视频处理帧

S11：利用全景相机拍摄复杂场景获得全景视频流；

S12：利用嵌入式解码芯片对所述的全景视频流进行解码，获得相应的全景视频帧；

S13：对所述的全景视频帧进行丢帧处理，得到视频处理帧；

S14：将所述的视频处理帧复制一份，然后利用嵌入式硬件加速模块将其缩小到480×480像素大小的尺寸，得到视频处理帧副本；

S2：进行智能实时多类别多尺度多目标检测

将所述视频处理帧副本加载进部署在嵌入式开发板的目标检测神经网络，获得所约定类别的各个目标对象在所述视频处理帧副本中的目标检测框；所述的约定类别，包含但不限于自行车、摩托车、小轿车、公交车、卡车、三轮车、行人、车牌和人脸；

所述目标检测框是以矩形框的形式完全包围住所述目标对象，能较好地贴合所述目标对象的边缘、避免过多的背景留白部分；所述目标检测框至少包含如下信息：所述视频处理帧的ID、所述目标对象的类别、目标对象的检测ID、所述目标检测框在所述视频处理帧副本中的左上角坐标(x,y)和所述目标检测框的宽度及高度(w,h)；

所述的目标检测神经网络采取如下方式进行目标检测：

S21：将一定规模的标注有所述约定类别的目标对象检测框的数据划分为训练集和验证集，无标注的数据则直接成为测试集；

S22：将所述标注数据训练集加载进目标检测神经网络进行训练；在训练过程中，采用在线数据增强的方式：对标注数据以特定的概率进行水平翻转、一定角度内的旋转、多个不同尺度输入、多个目标框裁剪叠加，扩充训练数据的多样性，有效防止过拟合的发生；对于目标检测神经网络训练过程中的学习率调整方案，采用循环学习率：根据训练周期的长短，学习率由最小逐渐达到设定的最大值，随后递减到最小之后再递增到减半的所指定的最大值，依次循环，从而加速网络收敛，减少训练周期和节省训练时长；

S23：借助训练过程中对标注数据验证集的测试评估，判断模型是否过拟合；当模型未出现明显过拟合迹象，且其损失函数值趋于平稳的情况下，在个人电脑或服务器上，对测试集数据进行网络模型推理测试；

S24：对测试集数据的所述推理测试的精度符合应用的需求，则可进行下一步操作；否则，可能需要扩充标注数据训练集，再次执行S1至S3步骤，重新进行训练或者继续训练，使得网络模型收敛到更低的损失值；

S25：对推理测试精度达标的网络模型进行量化，在量化过程中需要选择几张有代表性的应用场景图片作为量化参考基准图片；

S26：在带有张量协处理器的嵌入式设备上，进行目标检测工程部署，将原始YOLO_V3算法的目标检测框输出块压缩至两个尺度，确保相关数据处理正确无误；

S27：在带有张量协处理器的嵌入式设备上，对量化后的目标检测网络模型进行推理测试；

S28：比对目标检测网络模型量化前后的测试差异，若该差异在可接受的范围，则可进行下一步操作；否则，可能需要重新选择量化参考基准图片或分析、对比网络模型量化前后目标检测神经网络每层中的参数差异情况，重新进行量化，即，重新进行上述流程S25至S27步；

S29：通过在嵌入式设备上的推理测试，获得符合精度要求的实时多类别目标检测结果；

S3：进行逐类别在线多目标跟踪

将各个目标对象的目标检测框，逐类别加载到部署在嵌入式开发板的在线形式的SORT目标跟踪算法，获得所述约定类别的多个目标对象的跟踪结果；

所述跟踪结果以所述目标对象的一组所述目标检测框序列为表示形式，即关联某个类别相同且跟踪ID相同的所述目标对象在前后多个所述视频处理帧中的所述目标检测框区域，组成该所述目标对象从多个前后所述视频处理帧中裁剪出来的小区域图像序列；所述跟踪结果至少包含如下信息：所述视频处理帧的ID、所述目标对象的类别、所述目标对象在所述类别中的跟踪ID、所述目标对象检测框在所述视频处理帧中的左上角坐标(x,y)、所述目标检测框在所述视频处理帧中的宽度及高度(w,h)和所述目标对象检测框是否在该所述视频处理帧的ID所处时刻消失；

所述SORT目标跟踪算法，针对不同类别的目标对象移动与变化的不同特点，分类别建立SORT跟踪器，在进行一个类别目标对象的跟踪任务时，屏蔽其他类别的目标对象，以减少跟踪混乱；在不进行目标对象外观特征学习的前提下，根据实测数据设置跟踪参数，以便基于较好的目标检测结果改进目标对象跟踪效果；按照不同目标对象的类别设置跟踪的最小击中次数；具体步骤包括：

S31：为每个目标对象类别初始化一个SORT跟踪器；

S32：将前一帧中的所有目标检测结果分类别加载进相应类别的SORT跟踪器；

S33：利用Kalman滤波器预测目标对象检测框在本帧中的新位置；

S34：利用Hungarian算法对本帧的目标对象检测结果与Kalman滤波器预测的目标对象检测框进行最大匹配，从而实现将前一帧检测到的目标对象与本帧的检测目标对象关联起来；

S4：进行抓拍去重择优

S41.为所述约定类别的多个目标对象的跟踪结果中的每个跟踪到的目标对象分配一个跟踪计数器，并初始化为0；所述跟踪计数器根据所述目标对象在所述类别中的跟踪ID，记录从多个前后所述视频处理帧中裁剪出来的所述目标对象小图像区域的个数；

S42.根据所述约定类别的多个目标对象的所述跟踪结果和相应所述目标对象的非零跟踪计数器，进行目标对象的去重择优抓拍工作：

若所述目标对象的非零跟踪计数器值为1，则表示所述目标对象从多个前后所述视频处理帧中裁剪出来的小区域图像序列中只有1个图像，即第一次跟踪到该目标对象，需要置为初始的最优抓拍结果；

若所述目标对象的非零跟踪计数器值大于1，则表示该目标对象被多次跟踪到了，需要对该所述目标对象的小区域图像序列的多张图像进行去重处理，按照优选综合评估得分，从所述某目标对象由进入视频帧到截至当前视频处理帧的一组小区域图像序列中挑选一张所述优选综合评估得分最高的小区域图像作为最优抓拍，替换初始的最优抓拍结果；

S43.根据来自所述SORT目标跟踪算法中所述目标对象检测框消失时刻的所述视频处理帧ID与当前视频帧ID的前后关系，确定消失时刻的所述目标对象的抓拍结果，同时回收所述该目标对象所占用的相关资源，以加速目标跟踪处理以及消失目标对象的确认工作；

S5：将抓拍结果传输到服务器或数据中心

S51.将目标对象的最优抓拍结果进行JPG图像编码，并重组有关最优抓拍信息为JSON或XML文件，将此二者作为多类别多尺度多目标抓拍方法结果；

S52.利用5G无线网络或有线通信的方式，将所述多类别多尺度多目标抓拍方法结果传输到服务器或数据中心。