[发明专利]基于关键对象拼合的视频识别方法及装置存储介质和终端

权利要求书

1.一种基于关键对象拼合的视频识别方法，包括：

通过预设视频解码器对目标视频进行解码，获取所述目标视频的I类帧图像数据、P类帧图像数据、B类帧图像数据、运动矢量表和帧内预测模式表；

将所述I类帧图像数据输入到预设深度神经网络中，得到I类帧图像识别结果；

基于所述I类帧图像识别结果、所述运动矢量表和所述帧内预测模式表，通过对象追踪算法获取所述P类帧图像数据中的所有关键对象矩形框和所述B类帧图像数据中的所有关键对象矩形框；

通过对象聚合算法对所获取的关键对象矩形框进行聚合得到多个合成帧，并将所有所述合成帧输入到所述预设深度神经网络中得到多个合成帧识别结果；

通过对象拆分算法对所有所述合成帧识别结果进行拆分，并将拆分结果返还到所述B类帧图像数据和所述P类帧图像数据中，得到P类帧图像识别结果和B类帧图像识别结果。

2.根据权利要求1所述的方法，其特征在于，基于所述I类帧图像识别结果、所述运动矢量表和所述帧内预测模式表，通过对象追踪算法获取所述P类帧图像数据中的所有关键对象矩形框和所述B类帧图像数据中的所有关键对象矩形框步骤包括：

基于所述I类帧图像识别结果、所述运动矢量表和所述帧内预测模式表，通过预设恢复操作按预设追踪顺序依次获取每帧P帧图像数据的临时识别结果和每帧B帧图像数据的临时识别结果；

依次遍历每帧P帧图像数据的临时识别结果和每帧P帧图像数据的临时识别结果，获取每帧P帧图像数据中的关键分割小块和每帧B帧图像数据中的关键分割小块，基于每帧P帧图像数据中的关键分割小块和每帧B帧图像数据中的关键分割小块获取每帧P帧图像数据中的关键对象识别框和每帧B帧图像数据中的关键对象识别框；

其中，预设追踪顺序为所述目标视频的解码顺序剔除掉I类帧图像数据后的顺序。

3.根据权利要求2所述的方法，其特征在于，通过预设恢复操作获取单帧P帧图像数据的临时识别结果或单帧B帧图像数据的临时识别结果包括：

假设待获取临时识别结果的P帧图像数据或B帧图像数据为目标图像数据；

基于所述I类帧图像识别结果、前序帧图像临时识别结果集和运动矢量表获取所述目标图像数据中部分分割小块的第一类参考分割小块，并分别将所述第一类参考分割小块的分割识别结果复制到所述目标图像数据中对应的分割小块上，得到目标图像数据的第一识别结果；

基于所述目标图像数据的第一识别结果和所述帧内预测模式表获取所述目标图像数据中其它部分分割小块的第二类参考分割小块，并分别将所述第二类参考分割小块的分割识别结果复制到所述目标图像数据中对应的分割小块上，得到目标图像数据的临时识别结果；

其中，所述前序帧图像临时识别结果集包括当前已获取的所有图像数据的临时识别结果。

4.根据权利要求2所述的方法，其特征在于，遍历单帧图像数据的临时识别结果，获取该帧图像数据中的关键分割小块，基于该帧图像数据中的关键分割小块获取该帧图像数据中的关键对象识别框包括：

遍历单帧图像数据的临时识别结果，将该帧图像数据临时识别结果中包含预设颜色像素的分割小块作为临时分割小块，将该图像数据中与所述临时分割小块相对应的分割小块作为关键分割小块；

将该帧图像数据中包含所有所述关键分割小块的最小矩形框作为关键对象矩形框，并记录所述关键对象矩形框的原始位置信息。

5.根据权利要求4所述的方法，其特征在于，通过对象聚合算法对所获取的关键对象矩形框进行聚合得到多个合成帧包括：

将所有关键对象矩形框依次排列形成更新对象列表；

依次将所述更新对象列表中所有关键对象矩形框放置于多个空闲帧中，形成多个合成帧；

其中，将所述更新对象列表中关键对象矩形框放置于一个空闲帧中，形成一个合成帧包括：

构建一个空闲帧作为待放置空闲帧，并将所述待放置空闲帧中空闲区域集合成空闲区域列表；

按预设放置方式依次将所述更新对象列表中的关键对象矩形框放置于所述空闲区域列表中的空闲区域中，直到待放置关键对象矩形框无法从所述空闲区域列表中选取出可放置的空闲区域，所述待放置空闲帧完成合成形成合成帧。