[发明专利]嵌入式视频图像深度学习方法、设备及存储介质

说明书

本发明提供了嵌入式视频图像深度学习方法、设备及存储介质，该系统包括：一服务器；至少一组视频处理模块组件，分别可拆卸地连接于服务器，视频处理模块组件包括一可编程逻辑器件形成的图形加速卡和对应的一用于解码的SOC芯片，多个视频数据流信道连接于SOC芯片；服务器中建立每个视频处理模块组件、图形加速卡、SOC芯片以及视频数据流信道的映射关系表，并根据视频处理模块组件连接服务器的状态更新映射关系表。本发明能够提供多路的RTSP的解码，降低服务器的线程消耗，提升产品的性能，降低成本，同时一个服务器可以插入多张卡，根据业务需要动态配置，灵活性好。

背景技术

目前，集装箱码头闸口等场景广泛使用摄像头协助工作人员检验车辆相关信息，其中存在一部分信息需要工作人员能直观的全面的看到车辆及集装箱的完整情况。

传统方案将提供给工作人员连续的多张独立的车辆截图，然后令工作人员人工的检查这多张图片。传统方法会增大工作人员的工作量且增大检查中可能存在的误差。

而且，在一些车辆高速通过的闸口，由于采集的图片仅仅是汽车的局部，因为图片不能反映整个车身的视图，所以难以在一张图片中获得完整的车身数据编号，也很难对车身、车顶、车底等部位进行图像识别，系统无法自动对车辆进行安全检测(例如：通过图像识别扫描车底或是车顶的可疑物品等等)。

现有技术主要通过两种来实现图形机器学习方式，第一种是使用CPU解码，再通过CPU资源实现识别分类任务，对CPU资源消耗大，一旦资源消耗过多，会较低其它业务的运行速度，且成本高；第二种是使用显卡实现识别分类任务，显卡的成本比较高，且功耗比较高。

因此，本发明提供了一种嵌入式视频图像深度学习方法、设备及存储介质。

发明内容

针对现有技术中的问题，本发明的目的在于提供嵌入式视频图像深度学习方法、设备及存储介质，克服了现有技术的困难，能够通过SOC芯片实现解码和深度学习前处理，通过FPGA实现网络推理，服务器端实现数据的调度，极大的提高了整体的运营性能，使得一台服务器可以支持更多的视频路数的深度学习的推理运算；同时支持多张解码卡和FPGA的拓展，使得设备的能力集的配置更加的灵活。

本发明的实施例提供一种嵌入式视频图像深度学习系统，其特征在于，包括：

一服务器；

至少一组视频处理模块组件，分别可拆卸地连接于所述服务器，所述视频处理模块组件包括一可编程逻辑器件形成的图形加速卡和对应的一用于解码的SOC芯片，多个视频数据流信道连接于所述SOC芯片；

所述服务器中建立每个所述视频处理模块组件、图形加速卡、SOC芯片以及视频数据流信道的映射关系表，并根据所述视频处理模块组件连接所述服务器的状态更新所述映射关系表。

优选地，所述SOC芯片连接多个视频传感器，根据每个所述视频传感器获得的视频获得预设尺寸的RGB缩略图数据，RGB原始尺寸数据和jpeg编码图片数据。

优选地，所述SOC芯片将每个所述视频传感器的RTSP视频码流逐帧解码成YUV像素数据，再将YUV像素数据进行转码到深度学习用的RGB数据，并提供RGB原图缩放到预设尺寸的RGB缩略图数据、JPEG图片数据以及RGB原图数据三种数据类型的图片数据。

优选地，所述图形加速卡分别连接第一神经网络和第二神经网络，所述服务器将所述SOC芯片获得的RGB缩略图数据发送到图形加速卡的所述第一神经网络，所述第一神经网络对RGB缩略图数据进行第一次目标识别，获得目标。

优选地，当所述第一神经网络自所述RGB缩略图中没有识别到匹配预设目标的图形，则进行下一帧的RGB缩略图数据的第一次目标识别。

优选地，当所述第一神经网络自所述RGB缩略图中识别到匹配预设目标的图形，则获得目标以及目标所占的所述RGB缩略图中的目标区域。