[发明专利]分离CPU与GPU处理视频流的方法、系统及存储介质

说明书

本申请公开了一种分离CPU与GPU处理视频流的方法、系统及存储介质。该分离CPU与GPU处理视频流的方法包括：分类处理步骤，将易处理组的视频流文件归入CPU集群处理；将难处理组的视频流文件归入GPU集群处理；利用K8S在各自集群内分配有计算空间的服务器；CPU集群与GPU集群通信步骤，利用Kafka作为CPU集群与GPU集群之间的通信机制；以及循环处理步骤，当前待处理任务的项数为0则结束，否则返回所述视频流分类步骤。本申请分别利用CPU集群处理简单任务，GPU集群处理复杂任务，大幅度增加后台处理能力，降低服务器成本。

技术领域

本申请涉及视频流处理技术领域，尤其涉及移动设备技术领域，具体涉及一种分离CPU与GPU处理视频流的方法、系统及存储介质。

背景技术

在视频流处理中，往往简单的图像处理(如OpenCV)与复杂的深度学习模型(如CNN类图像处理模型)均需要使用。其中CNN类图像处理模型为：这些模型由多个计算层构成，其中必不可少的就是卷积计算层；这些算法模型具体计算层架构各不相同，但都针对图像处理问题，且都遵循反向传播等训练模式，故统称卷积神经网络(CNN)。在计算规模不大时，通常把两类计算均交付GPU服务器进行处理即可。

然而，当线上此类需求大幅度增加时，如果均由GPU服务器处理，则成本大幅提升；GPU服务器为较为新型的服务器，主要用于较为复杂的人工智能算法模型、视频流、自然语言处理，价格较为昂贵。CPU服务器即传统服务器，价格较为便宜，一般处理文本类、数字类信息。因此需要合理分配CPU与GPU服务器才能进一步提升处理速度。但是分配CPU与GPU服务器时，遇到以下难题：首先，存在不同集群之间的通讯问题；其次，不同集群之间的服务器数量平衡问题。

发明内容

本申请实施例提供一种分离CPU与GPU处理视频流的方法、系统及存储介质，用于解决CPU与GPU服务器协同处理视频流过程的通讯问题，实现CPU集群与GPU集群合理分配处理任务，大幅度增加后台处理能力，降低服务器成本。

本申请实施例提供一种分离CPU与GPU处理视频流的方法，包括以下步骤：

分类处理步骤，将易处理组的视频流文件归入CPU集群处理；将难处理组的视频流文件归入GPU集群处理；

CPU集群与GPU集群通信步骤，利用Kafka作为CPU集群与GPU集群之间的通信机制，CPU集群与GPU集群在每一项处理任务完成后相互通信一次；以及

循环处理步骤，判断当前待处理任务的项数是否为0，若是则结束处理视频流文件，若否则返回所述视频流分类步骤。

在一些实施例中，在所述分类处理步骤之前还包括：视频流分类步骤，根据每一项处理任务将视频流文件按照对应所需的计算资源划分为易处理组或难处理组。

在一些实施例中，在所述视频流分类步骤中，根据计算资源消耗量设置分类阈值；当其中一视频流文件对应处理任务所需显存、内存或其他计算资源小于或等于该分类阈值时，将这一视频流文件划分为易处理组；当其中一视频流文件对应处理任务所需显存、内存或其他计算资源大于该分类阈值时，将这一视频流文件划分为难处理组。

在一些实施例中，在所述分类处理步骤中，通过CPU集群和GPU集群处理后视频的字段结果文件存储在Mysql数据库中。

在一些实施例中，在所述CPU集群与GPU集群通信步骤中，CPU集群与GPU集群之间的通信内容只包含对应视频流文件的编号、处理任务的编号和处理结果的字段，视频流文件本身均存储于NFS中，通过视频流文件的编号可从NFS中获取对应的视频流文件。

本申请还提供一种系统，包括：