[发明专利]联合超分辨率和视频编码的目标跟踪方法、装置、设备及介质

权利要求书

1.一种联合超分辨率和视频编码的目标跟踪方法，其特征在于，包括：

获取待输入的低分辨率视频，并将所述低分辨率视频经压缩编码重构后得到重构后的中间视频；

将重构后的所述中间视频输入超分辨网络进行深度学习训练得到训练后的高分辨率视频；

对所述高分辨率视频进行目标跟踪操作得到增强后的目标跟踪视频。

2.根据权利要求1所述的方法，其特征在于，所述将所述低分辨率视频经压缩编码重构后得到重构后的中间视频具体为：

将所述低分辨率视频经avs3压缩编码重构后得到重构后的中间视频，其中，所述中间视频的尺寸为360*180。

3.根据权利要求1所述的方法，其特征在于，所述将重构后的所述中间视频输入超分辨网络进行深度学习训练得到训练后的高分辨率视频具体包括：

对所述中间视频逐帧进行图像特征提取，并进行卷积操作得到特征图；

对所述特征图进行塌缩操作处理得到塌缩后的卷积层；

对所述塌缩后的卷积层进行映射操作得到映射后的图像数据；

对所述映射后的图像数据进行反卷积操作得到训练后的高分辨率视频图像。

4.根据权利要求3所述的方法，其特征在于，所述对所述映射后的图像数据进行反卷积操作得到训练后的高分辨率视频图像之后，还包括：

判断所述训练后的高分辨率视频图像的损失是否超过预设的损失阈值，若超过则计算图像损失，并进行反向传播，重新进行图像特征提取的过程；若不超过则结束超分辨网络深度学习训练的过程。

5.根据权利要求1所述的方法，其特征在于，所述对所述高分辨率视频进行目标跟踪操作得到增强后的目标跟踪视频具体包括：

对所述高分辨率视频的图像数据逐帧进行Fast R-CNN目标检测；

根据Fast R-CNN目标检测算法算出的结果进行跟踪，并利用多目标跟踪算法获取跟踪结果；

对通过多目标跟踪算法处理后的目标跟踪结果进行平滑插值，并生成目标轨迹视频。

6.根据权利要求5所述的方法，其特征在于，所述对所述高分辨率视频的图像数据逐帧进行Fast R-CNN目标检测具体包括：

提取候选区域，利用选择搜索算法在输入图像中提取出候选区域，并把所述候选区域按照空间位置关系映射到最后的卷积特征层；

进行区域归一化，对于卷积特征层上的每个所述候选区域进行ROI池化操作，得到固定维度的特征；

将提取到的特征输入全连接层，并利用Softmax进行分类，对所述候选区域的位置进行回归，得到目标检测结果。

7.根据权利要求5～6任一项中所述的方法，其特征在于，所述多目标跟踪算法为DeepSort多目标跟踪算法。

8.一种联合超分辨率和视频编码的目标跟踪装置，其特征在于，包括：

视频获取模块，用于获取待输入的低分辨率视频，并将所述低分辨率视频经压缩编码重构后得到重构后的中间视频；

超分辨学习模块，用于将重构后的所述中间视频输入超分辨网络进行深度学习训练得到训练后的高分辨率视频；

目标跟踪模块，用于对所述高分辨率视频进行目标跟踪操作得到增强后的目标跟踪视频。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现权利要求1～7任一项中所述的联合超分辨率和视频编码的目标跟踪方法对应的步骤。

10.一种计算机存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时用于实现权利要求1～7任一项中所述的联合超分辨率和视频编码的目标跟踪方法对应的步骤。