[发明专利]一种多层异构多模态卷积神经网络集成式机器人巡检方法

权利要求书

1.一种多层异构多模态卷积神经网络集成式机器人巡检方法，其特征在于，其步骤如下：

步骤1：机器人通过自身的机器视觉摄像头采集压板开关状态的图像；

步骤2：得到的压板状态图像作为多层异构多模态卷积神经网络的输入层；

步骤3：通过卷积层卷积计算卷积层的输出；

卷积核在工作时，会有规律地扫过输入特征，在卷积核内对输入特征进行元素的求和和偏差量的叠加，卷积核的工作模式如下：

(i,j)∈{0,1,...L_l+1} (2)

其中，Z^l为第l+1层卷积的输入；Z^l+1为第l+1层卷积的输出；为张量积；L_l+1为Z^l+1的尺寸；Z(i,j)为对应特征图的像素；b为偏差量；K为特征通道数；K_l为第l层神经网络的特征通道数；f为对应卷积核的大小；s₀为卷积步长；p为填充层数；x为特征图的横向增量；y为特征图的纵向分量；w^l+1为第l+1层卷积的权重系数；为第k个通道的第l+1层卷积的权重系数；

卷积层参数包括卷积核大小、步长和填充层数，共同决定了卷积层输出特征图的尺寸；卷积核越大，提取的输入特征越复杂；卷积步长为卷积核相邻扫过特征图时位置的距离，卷积步长为1时，卷积核会逐个扫过特征图的元素；填充是在特征图通过卷积核之前人为增大其尺寸以抵消计算中尺寸收缩影响的方法；

卷积层中包含激励函数以协助表达复杂特征，其表示形式如下：

其中，为第k个通道的第l+1层卷积的激活函数；为第k个通道的第l+1层卷积的输出；

池化层是在卷积层进行特征提取后，输出的特征图被传递至池化层进行特征选择核和信息过滤；池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量；池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制；池化层的一般表示形式为：

其中，为第k个通道的池化层；为第k个通道的池化层的特征图的像素；步长s₀与卷积层相同；像素(i,j)的含义与卷积层相同；λ为预指定参数；

当λ＝1时，池化层在池化区域内取均值，被称为均值池化；当λ→∞时，池化层在池化区域内取极大值，被称为极大池化；均值池化与极大池化是以损失特征图的部分信息或尺寸为代价保留图像的背景和纹理信息的；为避免卷积神经网络出现过拟合，设计了混合池化，混合池化具有正则化的功能；混合池化为：

其中，β为均值池化的占比；为均值池化的取值；为极大池化的取值；

全连接层为卷积神经网络的传统前馈神经网络的隐含层，全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号；特征图在全连接层中会失去空间拓扑结构；卷积神经网络中的卷积层和池化层能够对输入数据进行特征提取，全连接层的作用则是对提取的特征进行非线性组合以得到输出；在图像语义分割中，输出层直接输出每个像素的分类结果；

通过前向计算得到卷积神经网络当前输出y：

其中，x₁为全连接输入层的第一个神经元；x₂为全连接输入层的第二个神经元；x_n为全连接输入层的第n个神经元；为第个神经元输入所占的权重；b_γ为第γ个神经元的偏差量；

采用梯度下降法训练网络，模型在训练数据上学到的预测数据分布与真实数据分布越相近越好，定义交叉熵为损失函数，计算公式为：

其中，θ为参数分量；m为网络层神经元的总数；J(θ)为交叉熵损失函数；y^(γ)为第γ个神经元的输出；log()为对数函数；x^(γ)为第γ个神经元的输入；h_θ(x^(γ))为第γ个神经元训练后的模型预测输出；

步骤4：计算池化层的输出；

步骤5：计算损失函数；

计算损失函数对第个参数分量求偏导：

其中，为第个参数分量的损失函数；h_θ(x^(γ))为第γ个神经元的输入对应的训练后的模型预测输出；为第γ个神经元的第个参数分量的输入；

步骤6：计算全连接层的输出；

步骤7：更新网络权值；

定义学习率α为网络参数的更新速度，经过每轮训练，通过计算当前输出与数据标签的差异，更新网络权值θ，不断的使网络输出接近数据的标签值：

其中，α为学习率；为第个参数分量的网络权值；为第个参数分量的网络权值；

步骤8：采用多层异构多模态卷积神经网络对压板开关屏柜的边缘检测与目标识别；

步骤9：获得压板识别的准确率并检查压板开关的通断状态；

步骤10：将得到的数据发送给远程控制终端和云服务。