[发明专利]一种基于深度学习的图像与决策多源异类信息融合识别方法和装置

权利要求书

1.一种基于深度学习的图像与决策多源异类信息融合识别方法，其特征在于，所述方法包括：

获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；

根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；

构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；

利用所述图像数据集与所述决策信息集，训练所述神经网络模型；

根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。

2.如权利要求1所述的方法，其特征在于，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，包括：

图像数据输入模块，所述图像数据输入模块用于对所述待识别图像数据处理之后获得待识别图像数字化表示数据；

决策信息输入模块，所述决策信息输入模块用于对所述待融合决策信息处理之后获得待融合决策信息数字化表示数据。

3.如权利要求2所述的模型，其特征在于，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，还包括：

卷积池化层，所述卷积池化层用于对所述待识别图像数字化表示数据进行卷积和池化处理之后，得到包含多个特征的图像降维数据；

全连接输入层，所述全连接输入层结点由所述包含多个特征的图像降维数据结点和所述待融合决策信息数字化表示数据结点合并组成一层数据结点；

全连接中间层，所述全连接中间层结点用于对经所述全连接输入层处理的所述包含多个特征的图像降维数据和所述待融合决策信息数字化表示数据进行全连接推理，计算所述待识别图像数据与所述待融合决策信息的相互关系；

全连接输出层，所述全连接输出层结点用于输出所述神经网络模型的识别结果。

4.如权利要求1所述的方法，其特征在于，所述利用所述图像数据集与所述决策信息集，训练所述神经网络模型，具体包括：

步骤a：对所述神经网络模型结点间的参数进行初始化；

步骤b：从所述图像数据集中提取图像数据经过所述图像数据输入模块处理后，获得图像数字化表示数据；

步骤c：从所述决策信息集中提取决策信息经过所述决策信息输入模块处理后，获得决策信息数字化表示数据；

步骤d：通过所述卷积池化层对所述图像数字化表示数据进行处理，假设所述神经网络模型各层的网络参数由权重(卷积核)W和偏置b组成，所述图像数据集与所述决策信息集的数据量个数均为M，若当前是卷积层，则所述卷积层各结点的数据张量过程为：

a^i,l＝σ(z^i,l)＝(W^l*a^i,l-1+b^l)

其中，i为所述图像数据集与所述决策信息集选取数据的次序号；

a^i,l为所述神经网络模型第l层的各结点数据张量；

a^i,l-1为所述神经网络模型第l-1层的各结点数据张量；

σ为各层的激活函数；若当前是池化层，则所述池化层各结点的数据张量过程为：

a^i,l＝pool(a^i,l-1)

其中，pool()为池化函数；

步骤e：将经所述卷积池化层处理后的图像数字化表示数据与所述决策信息数字化表示数据合并成一维向量，即组成所述全连接输入层结点；

步骤f：将所述全连接输入层结点依次向所述全连接中间层、所述全连接输出层输入，获得所述神经网络模型的正向推理输出结果，各全连接层正向推理过程为：

a^i,l＝σ(z^i,l)＝σ(W^la^i,l-1+b^l)

步骤g：计算所述全连接输出层各结点与真实结果的误差向量E，反向推理所述神经网络模型各层的误差增量；

重复步骤b～步骤g，直至所述图像数据集与所述决策信息集中的数据被随机提取完毕，第一次全数据集训练结束；

步骤h：将所述第一次全数据集训练的模型输出结果与全数据集对应真实结果进行交叉熵损失函数运算，得到第一交叉熵损失，其推理过程为：

其中，J为所述神经网络模型的交叉熵损失；

n为目标类型数目和所述全连接输出层结点个数；

y_k为所述全连接输出层第k个结点的模型训练输出；

d_k为与第k个结点的模型训练输出相对应的真实结果，其中，k＝{1,2,…,n}；

步骤i：重复b～步骤h，获得第二交叉熵损失，其中，所述第二交叉熵损失为第二次全数据集训练的模型输出结果与全数据集对应真实结果的交叉熵损失函数运算结果；

步骤j：重复b～步骤i，计算所述第二交叉熵损失与所述第一交叉熵损失的差值，即第一损失差值；

步骤k：重复b～步骤j，获得第二损失差值，根据所述第二损失差值与所述第一损失差值，确定所述神经网络模型训练结束，获得训练后的神经网络模型。