[发明专利]一种基于孪生神经网络的协同分析方法

权利要求书

1.一种基于孪生神经网络的协同分析方法，其特征在于：协同分析方法中包括孪生编码解码网络模块、孪生度量学习网络模块和决策网络模块，输入一组图片对至孪生编码解码网络模块，孪生编码解码网络模块提取图片对的特征，并将图片对的特征输入孪生度量学习网络模块，孪生度量学习网络模块对图片对的特征向量化后，计算两个向量间距离，并将结果输入至决策网络模块，决策网络模块判断图片对是否为同一类，并将结果传输至孪生编码解码网络模块；

所述孪生编码解码网络模块包括五层编码器和五层解码器，编码器是基于VGG16的特征提取卷积神经网络，每层包含3个卷积层和一个卷积核为2x2的最大池化层，编码器将224x224x3的输入图片转换为7x7x512的语义特征图，语义特征图作为解码器的输入部分；解码器包括五层，每层包括3个转置卷积层和1个最近邻插值层，在每次最近邻插值后面加上转置卷积层；除了第5层，每层内部转置卷积层结束都做一次ReLU操作，

所述孪生度量学习网络模块包括两层全连接层，分别为128维和64维，第一层后接非线性激励函数ReLU；孪生度量学习网络模块首先对孪生编码解码网络模块转置卷积层cT9输出的一对特征图进行全局平均池化，得到一对向量fu1和fu2，将fu1和fu2输入到孪生度量学习网络模块中，并输出一对向量fs1，fs2给决策网络模块；

所述决策网络模块通过将孪生度量学习网络模块输出的两个向量拼接，得到一个128维的向量作为输入，依次通过两层全连接层，第一层全连接层为32维，并连接非线性激活函数ReLU，第二层全连接层为1维，通过连接Sigmoid函数，将预测结果转化为0-1之间的概率，以此推断这组图片是否为同一类，若概率值趋近于1，代表是同一类，反之，则不是；

解码器的第5层通过Sigmoid函数将特征图转换为共分割的预测结果M；

在执行分割任务时，使用的损失函数为：

L_final＝w₁L₁+w₂L₂+w₃L₃

其中：L_final为模型的总损失，w₁、w₂、w₃为权重，L₁为二元交叉熵，是训练孪生编码解码网络的损失函数；L₂为triplet loss，是训练孪生度量学习网络的损失函数；

其中：a是误差值，f_u1与f_u2为孪生度量学习网络模块中得到的一对向量fu1和fu2；y代表两个向量标签是否相同；相同时y＝1，不同时y＝-1；

决策网络的损失函数L₃是BCEloss，

其中：i代表样本个数，y_r等于0表示输入的样本对不是同一类，y_r等于1表示输入的样本对是同一类，为决策网络的输出结果；

在执行检测任务时，将L3换为smooth_L1 loss，

其中：x为预测框与ground truth之间element-wise的差异。

2.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：所述决策网络模块判断图片对是同一类，则判断结果为1，决策网络模块判断图片对不是同一类，则判断结果为0。