[发明专利]一种云边联合计算智能视频识别方法及应用

权利要求书

1.一种云边联合计算智能视频识别方法，其特征在于，视频识别方法包括如下步骤：

S1：边缘端从各摄像头中读取监控视频流，并将各监控视频流输送到相应边缘计算网关设备中GPU的硬件解码器中进行解码；

S2：所述边缘端对多种不同功能的神经网络通过插件化的方式进行组合级联，形成完整的推理判断工作流，并对监控视频流经由视频识别算法进行推理分析，得出画面中目标和动作的识别结果；

S3：所述边缘端将解码处理后的视频流与步骤S2中的识别结果进行组合后输出至系统服务器，GPU将视频识别计算的ROI区域及对象分类结果标注在原始视频画面中对应位置。

2.如权利要求1所述的云边联合计算智能视频识别方法，其特征在于，所述视频识别方法包括还如下步骤

S4：所述系统服务器将带有区域及类别标注的视频流汇总后，判断流程步骤是否违规，并将生成的流程节点记录或违规预警信息发送至用户平台。

3.如权利要求1所述的云边联合计算智能视频识别方法，其特征在于，步骤S1中的解码步骤由多个线程并行执行，将监控视频流转换为RGBA矩阵格式。

4.如权利要求1所述的云边联合计算智能视频识别方法，其特征在于，步骤S2中由一个主线程调用包括组合级联的推理引擎进行推理分析任务。

5.如权利要求1所述的云边联合计算智能视频识别方法，其特征在于，步骤S2中进行组合级联的步骤如下：

通过将人工智能模型插件化，统一模型的接口，将多个不同功能的神经网络级联，其中，每一个级联的神经网络都会通过不同的方式对输入数据依次实现卷积、平滑、采样、推理以及决策的过程。

6.如权利要求5所述的云边联合计算智能视频识别方法，其特征在于，步骤S2中经由视频识别算法进行推理分析的步骤如下：

基于原始的视频流数据通过目标检测网络对画面中的各类目标进行识别，识别出人体、人体的身份判断或者其他目标，确定对应目标的分类与区域位置ROI；

通过动作特征识别网络对画面中目标的动作特征进行识别匹配，并给出针对动作信息的识别判断。

7.如权利要求6所述的云边联合计算智能视频识别方法，其特征在于，步骤S2中目标检测网络采用单阶段目标检测Yolo网络，使用一个卷积神经网络，采用端对端的训练与学习，直接生成从原始视频流数据到期望输出的模型，输出不同目标的预测类别结果以及位置信息，其中，位置信息以ROI的格式输出。

8.如权利要求6所述的云边联合计算智能视频识别方法，其特征在于，步骤S2中的动作特征识别网络采用ResNet网络，通过前移学习的方法，利用小的训练数据集快速训练处好的预测结果。

9.如权利要求2所述的云边联合计算智能视频识别方法，其特征在于，步骤S4具体包括如下步骤：

通过画面中的关键生产内容，且根据实际操作逻辑，确定当前进行的生产步骤，并生成流程节点记录后将流程节点记录发送给用户平台，关键生产内容包括生产工具或生产动作；

将画面信息对照数据库中存储的相应节点中可能存在的各类违规操作行为，判断当前流程步骤是否违规，在违规时向用户平台发送违规预警信息。

10.如权利要求1-9任一所述的云边联合计算智能视频识别方法的应用，其特征在于，所述云边联合计算智能视频识别方法用于识别加油站场景中将成品油转移至油管时流程步骤的操作规范性。