[发明专利]嵌入式视频图像深度学习方法、设备及存储介质

权利要求书

1.一种嵌入式视频图像深度学习方法，其特征在于，采用一种嵌入式视频图像深度学习系统，深度学习系统包括：一服务器和至少一组视频处理模块组件，分别可拆卸地连接于所述服务器，所述视频处理模块组件包括一可编程逻辑器件形成的图形加速卡和对应的一用于解码的SOC芯片，多个视频数据流信道连接于所述SOC芯片；所述服务器中建立每个所述视频处理模块组件、图形加速卡、SOC芯片以及视频数据流信道的映射关系表，并根据所述视频处理模块组件连接所述服务器的状态更新所述映射关系表，所述深度学习方法包括以下步骤：

S110、建立每个所述视频处理模块组件、图形加速卡、SOC芯片以及视频数据流信道的映射关系表，并根据所述视频处理模块组件连接所述服务器的状态更新所述映射关系表；

S120、根据映射关系配置获得预设尺寸的RGB缩略图数据，仅将所述RGB缩略图数据发送到服务器的缓存队列中

S130、将RGB缩略图数据发送到图形加速卡的第一神经网络；

S140、判断所述第一神经网络自所述RGB缩略图中是否识别到匹配预设目标的图形，若是，执行步骤S150，若否，执行步骤S170；

S150、获得目标以及目标所占的所述RGB缩略图中的目标区域；

S160、自所述SOC芯片调用对应的RGB原图数据进行对应的目标区域抠图后发送给第二神经网络，进行第二次目标识别；

S170、进行下一帧的RGB缩略图数据的第一次目标识别。

2.根据权利要求1所述的嵌入式视频图像深度学习方法，其特征在于，所述SOC芯片连接多个视频传感器，根据每个所述视频传感器获得的视频获得预设尺寸的RGB缩略图数据，RGB原始尺寸数据和jpeg编码图片数据。

3.根据权利要求2所述的嵌入式视频图像深度学习方法，其特征在于，所述SOC芯片将每个所述视频传感器的RTSP视频码流逐帧解码成YUV像素数据，再将YUV像素数据进行转码到深度学习用的RGB数据，并提供RGB原图缩放到预设尺寸的RGB缩略图数据、JPEG图片数据以及RGB原图数据三种数据类型的图片数据。

4.根据权利要求2所述的嵌入式视频图像深度学习方法，其特征在于，所述图形加速卡分别连接第一神经网络和第二神经网络，所述服务器将所述SOC芯片获得的RGB缩略图数据发送到图形加速卡的所述第一神经网络，所述第一神经网络对RGB缩略图数据进行第一次目标识别，获得目标。

5.根据权利要求4所述的嵌入式视频图像深度学习方法，其特征在于，当所述第一神经网络自所述RGB缩略图中没有识别到匹配预设目标的图形，则进行下一帧的RGB缩略图数据的第一次目标识别。

6.根据权利要求4所述的嵌入式视频图像深度学习方法，其特征在于，当所述第一神经网络自所述RGB缩略图中识别到匹配预设目标的图形，则获得目标以及目标所占的所述RGB缩略图中的目标区域。

7.根据权利要求6所述的嵌入式视频图像深度学习方法，其特征在于，所述服务器根据所述第一神经网络识别到的目标和目标区域，自所述SOC芯片调用对应的RGB原图数据进行对应的目标区域抠图后发送给第二神经网络，进行第二次目标识别，获得第二次目标识别结果后，进行下一帧的RGB缩略图数据的第一次目标识别。

8.根据权利要求7所述的嵌入式视频图像深度学习方法，其特征在于，保存第二次目标识别的目标在RGB原图数据对应编码成的JPEG图片。

9.根据权利要求1所述的嵌入式视频图像深度学习方法，其特征在于，所述服务器监控每个所述视频处理模块组件中所述图形加速卡的工作载荷，当出现一所述图形加速卡工作载荷超过预设阈值时，临时调整所述映射关系表，将其中高载荷的所述图形加速卡所对应的至少一视频数据流信道，连接到低载荷的所述图形加速卡进行处理。