[发明专利]一种基于混合神经网络模型的图像识别方法、装置及设备

权利要求书

1.一种基于混合神经网络模型的图像识别方法，其特征在于，包括：

将待识别图像输入至卷积自编码器中进行预处理；

利用基于迁移学习构建的特性提取器提取预处理后的待识别图像的图像特征；所述特性提取器包括Google Net模型和VGG16模型；

利用长短期记忆网络模型提取所述预处理后的待识别图像的内部时序特征；

利用特征融合门及特征筛选门，对所述图像特征与所述内部时序特征融合筛选，得到所述识别图像的目标特征；

利用softmax分类器对所述目标特征进行分类，得到所述待识别图像的分类结果；

所述基于迁移学习构建的特征提取器提取预处理处理后的待识别图像的图像特征包括：

将去噪处理后的待识别图像输入至预先完成训练的Google Net模型中，提取所述待识别图像的第一图像特征；

将去噪处理后的待识别图像输入至预先完成训练的VGG16模型中，提取所述待识别图像的第二图像特征；

所述利用特征融合门及特征筛选内，对所述图像特征与所述内部时序特征融合筛选，得到所述识别图像的目标特征包括：

将所述第一图像特征、所述第二图像特征以及所述内部时序特征输入至所述特征融合门中，得到融合特征；

将所述融合特征输入至所述特征筛选门中，利用主成分分析法提取主要特征后，利用两层全连接层将所述主要特征压缩为所述目标特征。

2.如权利要求1所述的方法，其特征在于，所述将待识别图像输入至卷积自编码器中进行预处理包括：

将所述待识别图像转换为224×224像素大小的目标待识别图像后，利用所述卷积自编码器对所述目标待识别图像进行去噪处理；

其中，所述卷积自编码器包括一个编码器与一个解码器；所述编码器为采用三层卷积及三层池化交叉处理后利用全连接层提取特征的模型；所述解码器为采用三层上采样及三层卷积进行图像解压重构的模型。

3.如权利要求1所述的方法，其特征在于，所述将待识别图像输入至卷积自编码器中进行预处理前还包括：

将预先完成标记的家居图像集输入至预先构建的初始卷积自编码器中进行预处理；

采用最小二乘法确定所述初始卷积自编码器的输出结果与未加噪音的图像集的损失，以便对所述卷积自编码器进行更新，得到完成训练的卷积自编码器。

4.一种基于混合神经网络模型的图像识别装置，其特征在于，包括：

预处理模块，用于将待识别图像输入至卷积自编码器中进行预处理；

图像特征提取模块，用于利用基于迁移学习构建的特性提取器提取预处理后的待识别图像的图像特征；所述特性提取器包括Google Net模型和VGG16模型；

内部特征提取模块，用于利用长短期记忆网络模型提取所述预处理后的待识别图像的内部时序特征；

特征融合筛选模块，用于利用特征融合门及特征筛选门，对所述图像特征与所述内部时序特征融合筛选，得到所述识别图像的目标特征；

分类模块，用于利用softmax分类器对所述目标特征进行分类，得到所述待识别图像的分类结果；

所述图像特征提取模块包括：

第一提取单元，用于将去噪处理后的待识别图像输入至预先完成训练的Google Net模型中，提取所述待识别图像的第一图像特征；

第二提取单元，用于将去噪处理后的待识别图像输入至预先完成训练的VGG16模型中，提取所述待识别图像的第二图像特征；

所述特征融合筛选模块包括：

将所述第一图像特征、所述第二图像特征以及所述内部时序特征输入至所述特征融合门中，得到融合特征；

将所述融合特征输入至所述特征筛选门中，利用主成分分析法提取主要特征后，利用两层全连接层将所述主要特征压缩为所述目标特征。

5.如权利要求4所述的装置，其特征在于，所述预处理模块具体用于：

将所述待识别图像转换为224×224像素大小的目标待识别图像后，利用所述卷积自编码器对所述目标待识别图像进行去噪处理；

其中，所述卷积自编码器包括一个编码器与一个解码器；所述编码器为采用三层卷积及三层池化交叉处理后利用全连接层提取特征的模型；所述解码器为采用三层上采样及三层卷积进行图像解压重构的模型。