[发明专利]基于多级神经网络级联的目标看护方法及装置

权利要求书

1.一种基于多级神经网络级联的目标看护方法，其特征在于，看护对象为老人和/或婴幼儿，包括：

获取摄像头采集的包括看护对象的视频流图像；

依据看护对象选择逻辑组合关系，依据所述逻辑组合关系确定深度网络模组中各个深度网络模型之间的级联关系以及相应的输出动作；

依据所述逻辑组合关系，加载相应的深度网络模型；

调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器；

将采集的所述视频流图像输入对应的深度网络模型中；

依据经级联的各个深度网络模型处理后得到的指定输出信息解析出所述视频流图像中的场景信息，并执行相应的输出动作；

所述逻辑组合关系为：采集的所述视频流图像中指定的有效识别区域。

2.根据权利要求1所述的基于多级神经网络级联的目标看护方法，其特征在于，若看护对象为婴幼儿，所述深度网络模型包括小孩深度检测模型和网络跟踪识别模型，所述小孩深度检测模型和所述网络跟踪识别模型二级级联；

若看护对象为老人，所述深度网络模型包括小老人深度检测模型、网络跟踪识别模型和深度网络跌倒分类模型；

所述老人深度网络检测模型、所述深度网络跟踪识别模型、所述深度网络跌倒分类模型进行三级级联；所述老人深度网络检测模型的输出作为所述深度网络跟踪识别模型的输入，而所述深度网络跟踪识别模型的输出作为所述深度网络跌倒分类模型的输入。

3.根据权利要求2所述的基于多级神经网络级联的目标看护方法，其特征在于，所述输出动作为语音提示，其中，提示内容包括小孩超出划定区域或老人跌倒。

4.根据权利要求1至3任一项所述的基于多级神经网络级联的目标看护方法，其特征在于，所述依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器包括：

获各所述深度网络模型的参数文件和权重文件；

根据各所述深度网络模型对应的所述参数文件和所述权重文件，分别计算各所述深度网络模型的空间复杂度和时间复杂度；

根据各所述深度网络模型的空间复杂度和时间复杂度对每一深度网络模型分配相应的内存和预定数量的核处理器。

5.根据权利要求4所述的基于多级神经网络级联的目标看护方法，其特征在于，所述参数文件至少包括以下之一：卷积层及其层数、深度卷积层及其层数和卷积核尺寸。

6.根据权利要求4所述的基于多级神经网络级联的目标看护方法，其特征在于，所述将采集的所述视频流图像输入对应的深度网络模型包括：

获取所述深度网络模型组中包含的检测模型的模型数量；

将所述视频流图像分为与所述模型数量相对应的子码流；

将各所述子码流缩放后分别送入各所述检测模型中。

7.根据权利要求4所述的基于多级神经网络级联的目标看护方法，其特征在于，所述检测模型为基于MovilenetV2-SSD训练的网络检测模型。

8.根据权利要求4所述的基于多级神经网络级联的目标看护方法，其特征在于，所述根据各所述深度网络模型的空间复杂度和时间复杂度对每一深度网络模型分配相应的内存和预定数量的核处理器包括：

获取多核处理器每个向量计算单元的计算能力；

根据各所述深度网络模型的时间复杂度和空间复杂度，通过每个所述计算能力确定各所述深度网络模型需要的向量计算单元的数量，并对各所述深度网络模型分配核处理器数量；

其中，核处理器数量与向量计算单元的数量相同。

9.根据权利要求1所述的基于多级神经网络级联的目标看护方法，其特征在于，所述有效识别区域为：选定位于图像中间的区域，且面积为整个图像面积1/2的区域。

10.一种基于多级神经网络级联的目标看护装置，其特征在于，看护对象为老人和/或婴幼儿，包括：

视频流图像输入模块，用于获取摄像头采集的包括看护对象的视频流图像；

逻辑组合模块，用于依据看护对象选择逻辑组合关系，依据所述逻辑组合关系确定深度网络模组中各个深度网络模型之间的级联关系以及相应的输出动作；

加载模块，用于依据所述逻辑组合关系，加载相应的深度网络模型；

多核动态分配管理模块，用于调用多核动态分配管理指令，计算加载的所述深度网络模型的复杂度，依据所述复杂度为每一深度网络模型分配相应的内存和预定数量的核处理器；

深度网络模块，用于将采集的所述视频流图像输入对应的深度网络模型中；

执行模块，用于依据经级联的各个深度网络模型处理后得到的指定输出信息解析出所述视频流图像中的场景信息，并执行相应的输出动作；

所述逻辑组合关系为：采集的所述视频流图像中指定的有效识别区域。