[发明专利]基于AI复合模型的图像识别方法、装置、介质和设备

权利要求书

1.一种基于AI复合模型的图像识别方法，包括：

采用高速中精度模型识别图像流中的目标对象，确定包括所述目标对象的图像；

通过中速高精度模型对包括所述目标对象的图像进行处理，得到目标对象的相关信息；

其中，所述高速中精度模型中包括用于区分前景和背景的至少包括双分支的神经网络模型，其中至少一个分支采用注意力机制对输入数据进行处理以准确区分前景和背景；所述至少包括双分支的神经网络模型中的第一分支采用注意力机制对输入第一分支的数据进行处理，第二分支直接将输入其中的数据与经第一分支处理后的输出数据融合以输出结果；

所述第一分支至少采用多通道注意力机制、空间注意力机制对输入第一分支的数据进行处理；实现多通道注意力机制和空间注意力机制的神经网络结构串联组合共同使用在所述高速中精度模型中，且实现多通道注意力机制的神经网络结构之后串联所述实现空间注意力机制的神经网络结构；

所述中速高精度模型中包括采用空洞卷积的神经网络模型，所述中速高精度模型通过预先设置在空洞卷积末端的输出层得到特征图以准确区分图像中不同大小的对象，输出层的每个特征图Y_i通过以下方式计算：

其中，X_j为第j层级的特征图，为网络自适应学习的参数，且有：

；

所述输出层通过以下步骤得到特征图：

将不同层级的特征图输入特定卷积核的卷积层得到各个特征图的空间权重向量；

将各个空间权重向量在通道方向拼接得到权重融合图；

对所述权重融合图进行卷积计算得到各个特征图的权重向量；

在通道方向上对各个特征图的权重向量进行逻辑回归和归一化处理；

将处理后的各个特征图的权重向量乘加到各个特征图以得到最终的特征图；

所述高速中精度模型包括YOLACT或YOLACT++或Blend Mask；所述中速高精度模型包括U-Net或DeepLabv1或DeepLabv2或DeepLabv3或DeepLabv3+；所述高速中精度模型对输入的图像进行实例分割，识别无需进一步识别分析的目标和/或感兴趣的区域；在确定感兴趣的区域之后，所述中速高精度模型对所述图像进行语义分割，精确识别出所述图像中包括的各个目标对象。

2.如权利要求1所述的基于AI复合模型的图像识别方法，其中，所述第一分支通过以下步骤采用多通道注意力机制对输入第一分支的数据进行处理：

基于神经网络的损失函数得到各个特征图的权重，其中高价值特征图的权重比低价值或无价值特征图的权重大。

3.如权利要求1所述的基于AI复合模型的图像识别方法，其中，所述第一分支通过以下步骤实现多通道注意力机制对输入第一分支的数据进行处理：

对输入第一分支的数据或第一分支中上一神经网络层处理后的数据进行全局均值池化；

根据全局均值池化之后得到的全局信息计算得到各个特征图的权重。

4.如权利要求3所述的基于AI复合模型的图像识别方法，其中，通过以下方式计算得到各个特征图的权重：

将所述全局信息输入顺序连接的两个全连接层，其中在前的全连接层采用预设的压缩系数对特征图进行压缩，排序在后的全连接层将压缩后的特征图恢复到原来的维度，两个全连接层采用不同的激活函数。

5.如权利要求1所述的基于AI复合模型的图像识别方法，其中，所述第一分支通过以下步骤实现空间注意力机制对输入第一分支的数据进行处理：

将输入数据进行平均池化、最大池化和条纹池化处理； 将处理后的数据通过多层感知机进行变换；

将变换后的数据进行交叉通道池化处理进行降维，得到表征空间注意力的特征图； 将所述特征图和输入数据进行对位相乘。

6.如权利要求1所述的基于AI复合模型的图像识别方法，其中，所述图像流通过图像采集设备实时获取。