[发明专利]目标类别识别方法、装置及可读存储介质

权利要求书

1.一种目标类别识别神经网络训练方法，其特征在于，该方法包括：

所述神经网络的骨干网络、区域建议网络、目标检测网络和目标分类网络通过如下训练过程得到：

采集训练图像集，在每帧训练图像中标注各个标注目标区域和对应的标注目标类别；

从训练图像集中依次取出一帧训练图像输入到所述神经网络的骨干网络进行特征提取，得到输入的训练图像的第一特征向量；

将第一特征向量输入到所述神经网络的区域建议网络，以检测出输入的训练图像中的各个前景区域和各个背景区域；

根据各个前景区域和各个背景区域在输入的训练图像中的对应区域，在第一特征向量中查找到各个前景区域和各个背景区域对应的各第一子特征向量；

分别对所述各个前景区域和各个背景区域对应的各第一子特征向量进行第一插值处理，得到第一固定大小的各第二子特征向量；

将所述各第二子特征向量输入到所述神经网络的目标检测网络，得到输入的训练图像中的各检测目标区域及各检测目标区域的检测目标类别；

根据所述目标检测网络得到的各检测目标区域及各检测目标区域的检测目标类别与在输入的训练图像中标注的各个标注目标区域和对应的标注目标类别，采用预设的第一损失函数进行计算，得到第一预测偏差；

根据各检测目标区域在输入的训练图像中的对应区域，在第一特征向量中查找到各检测目标区域对应的各第一子特征向量，将所有检测目标区域对应的各第一子特征向量拼接成第三特征向量；

对第一特征向量进行自适应全局平均池化处理，得到第四特征向量；其中，第四特征向量的维度与第三特征向量相同；

将第四特征向量与第三特征向量进行叠加，得到第五特征向量；

将第五特征向量输入到所述神经网络的目标分类网络，得到输入的训练图像中包含的各检测目标类别；

根据所述目标分类网络得到的输入的训练图像中包含的各检测目标类别与在输入的训练图像中标注的各标注目标区域的标注目标类别，采用预设的第二损失函数进行计算，得到第二预测偏差；

对第一预测偏差和第二预测偏差进行加权求和，根据该加权和调整所述神经网络的参数；

当所述神经网络收敛时，将此时的神经网络作为最终使用的神经网络；

所述在每帧训练图像中标注各个标注目标区域和对应的标注目标类别，进一步包括：

在每帧训练图像中标注各个标注目标的轮廓；

所述在第一特征向量中查找到各个前景区域和各个背景区域对应的各第一子特征向量之后、所述对第一预测偏差和第二预测偏差进行加权求和之前，进一步包括：

分别对所述各个前景区域和各个背景区域对应的各第一子特征向量进行第二插值处理，得到第二固定大小的各第六子特征向量；

将所述各第六子特征向量输入到所述神经网络的语义分割网络，得到输入的训练图像中的各检测目标的轮廓和检测目标类别；

根据所述语义分割网络得到的输入的训练图像中的各检测目标的轮廓和检测目标类别与在输入的训练图像中标注的各标注目标的轮廓和标注目标类别，采用预设的第三损失函数进行计算，得到第三预测偏差；

所述对第一预测偏差和第二预测偏差进行加权求和，包括：

对第一预测偏差、第二预测偏差和第三预测偏差进行加权求和。

2.根据权利要求1所述的方法，其特征在于，所述将所有检测目标区域对应的各第一子特征向量拼接成第三特征向量之后，将第四特征向量与第三特征向量进行叠加之前，进一步包括：

对第三特征向量进行自注意力机制增强处理，得到第三特征向量中每个特征值的自注意力系数，将第三特征向量中的每个特征值分别与其自注意力系数相乘，得到第三特征向量的自注意力机制增强特征向量；

所述将第四特征向量与第三特征向量进行叠加，包括：

将第四特征向量与第三特征向量的自注意力机制增强特征向量进行叠加。

3.根据权利要求1所述的方法，其特征在于，所述训练图像为管道图像，所述目标类别为管道缺陷类别。

4.根据权利要求3所述的方法，其特征在于，所述管道缺陷类别包括如下之一或任意组合：暗接、变形、错接、残墙、穿入、腐蚀、浮渣、结垢、起伏、树根、脱节、脱落、障碍物、错口、沉积、渗漏、破裂。