[发明专利]视频流处理方法及装置、电子设备和存储介质

权利要求书

1.一种视频流处理方法，其特征在于，所述方法应用于图形处理器GPU，所述方法包括：

将视频流的多个视频帧输入检测模型进行处理，确定每个视频帧中的对象的类别信息和位置信息；

根据所述每个视频帧中的对象的类别信息，从每个视频帧的对象中确定目标对象；

将所述每个视频帧以及每个视频帧中的所述目标对象的类别信息和位置信息输入特征识别模型进行处理，在每个视频帧中，针对一个或多个类别的目标对象，分别确定各类别的目标对象的特征信息；

将所述目标对象的所述类别信息、所述位置信息以及所述一个或多个类别的目标对象的特征信息发送至中央处理器CPU。

2.根据权利要求1所述的方法，其特征在于，将所述每个视频帧以及每个视频帧中的所述目标对象的类别信息和位置信息输入特征识别模型进行处理，在每个视频帧中，针对一个或多个类别的目标对象，分别确定各类别的目标对象的特征信息，包括：

将所述每个视频帧以及每个视频帧中各类别的目标对象的类别信息和位置信息分别输入相应的特征识别模型进行处理，分别确定每个视频帧中各类别的目标对象的特征信息。

3.根据权利要求1所述的方法，其特征在于，将视频流的多个视频帧输入检测模型进行处理，确定每个视频帧中的对象的类别信息和位置信息，包括：

将所述视频流的多个连续的视频帧组成视频帧组；

将所述视频帧组的第一个视频帧输入所述检测模型进行处理，确定所述对象在所述第一个视频帧中的第一位置信息以及所述对象的类别信息；

根据所述第一位置信息，确定所述对象在所述视频帧组的第一个视频帧之后的各视频帧中的第二位置信息。

4.根据权利要求1所述的方法，其特征在于，所述检测模型的训练过程包括：

将训练图像输入初始检测模型，获得训练图像中的对象的训练位置信息和训练类别信息；

根据所述训练位置信息和训练类别信息以及所述训练图像中的对象的位置信息和类别信息，确定所述初始检测模型的模型损失；

根据所述初始检测模型的模型损失调整所述初始检测模型，确定调整后的检测模型；

当满足训练条件时，将调整后的检测模型作为所述检测模型。

5.根据权利要求1所述的方法，其特征在于，所述特征识别模型的训练过程包括：

将训练图像以及训练图像中的目标对象的类别信息和位置信息输入初始特征识别模型，获得一个或多个类别的目标对象的训练特征信息；

根据所述一个或多个类别的目标对象的训练特征信息以及所述训练图像中的所述一个或多个类别的目标对象的特征信息，确定所述初始特征识别模型的模型损失；

根据所述初始特征识别模型的模型损失调整所述初始特征识别模型，确定调整后的特征识别模型；

当满足训练条件时，将调整后的特征识别模型作为所述特征识别模型。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过图形处理器GPU对来自视频获取单元的源视频流进行硬解码，获得所述视频流；或者

通过图形处理器GPU获取所述中央处理器CPU对源视频流进行解码后生成的视频流。

7.根据权利要求3所述的方法，其特征在于，根据所述第一位置信息，确定所述对象在所述视频帧组的第一个视频帧之后的各视频帧中的第二位置信息，包括：

对所述第一位置信息进行回归分析，确定所述对象在所述视频帧组的第一个视频帧之后的各视频帧中的第二位置信息。