[发明专利]平行多通道卷积神经网络、构建方法及图像特征提取方法

摘要

本发明公开了一种平行多通道卷积神经网络、构建方法及图像特征提取方法，涉及机器学习技术领域。由于Kinect等深度传感器的广泛使用，多模态图像的获取将会更加便利。因此，基于多模态图像信息的特征提取研究具有十分重要的意义。本发明首先针对多模态图像的各个通道建立子模态卷积神经网络模型，提取各个模态深度特征向量。为了获得具有统一性质的多模态图像特征，各模态子网络在特定的全连接层建立权重连接。在多层子网络的全连接部分，多模态深度特征向量根据权重配比融合成包含各模态信息的融合特征向量，再经多层网络的训练得到维度更低、表现力更好的特征表示。根据本发明得到的特征表示可以用于识别、分类等相关领域。

主权项

1.一种平行多通道卷积神经网络的构建方法，其特征在于，包括：对于预设多模态数据库中的各模态图像，构建与各模态图像对应的子模态卷积神经网络模型，并通过各子模态卷积神经网络模型提取各模态图像对应的深度特征向量；在每个子模态卷积神经网络模型的目标全连接层，将各子模态卷积神经网络模型所提取的深度特征向量进行连接并分配连接权重系数得到包含各模态图像信息的融合特征向量，以构建初始平行多通道卷积神经网络模型；将训练数据集送入所述初始平行多通道卷积神经网络模型中，对所述初始平行多通道卷积神经网络模型中的训练参数进行初次优化训练；将验证数据集送入初次优化训练后的平行多通道卷积神经网络模型中进行效果评估，并进行最终优化得到目标平行多通道卷积神经网络模型，其中，所述预设多模态数据库中包括所述训练数据集与所述验证数据集。