[发明专利]基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法

权利要求书

1.一种基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，其特征在于，步骤如下：

(1)采用光学显微镜和电子显微镜对不同配比的合金材料的微观图像进行采集，并标注不同放大倍数下的图像信息；

(2)通过仪器获取不同配比的合金样本在不同拉伸速率、不同拉伸力下的延伸率和抗压强度，并与步骤(1)图像信息整合，形成若干条合金样本数据；

(3)按4-5:1的比例将上述合金样本数据分为训练集和测试集；

(4)采用pytorch框架进行卷积神经网络和神经网络的编写，并使用python语言编程进行卷积神经网络和神经网络的桥接，从而构建多模态神经网络模型；

(5)基于多模态神经网络模型，采用公式y＝ωx+b，以y＝f(x)为预测函数并应用反向传播算法和链式法则进行训练；

y＝σ(z')  (1)

z'＝ω₂₁ a+b₂  (2)

a＝σ(z)  (3)

z＝ω₁₁ x₁+ω₁₂ x₂+b₁  (4)

公式中：x代表输入的数据，y代表每一层神经网络的输出值，σ为Relu函数，a为经过一层神经网络的输出值，z、z'为神经网络通过ω、b计算后的输出值，ω、b为神经网络模型进行正向传播时的参数，也是训练过程中学习的参数，具体的ω为每个输入数据x的权重，b为进行计算z时的偏置误差；通过多模态神经网络模型实现了非结构化图像数据和结构化材料数据的多模态融合，并使得多模态神经网络模型学习到关于预测合金材料延伸率和抗拉强度的参数ω、b；

(6)根据训练学习到的参数ω、b和预测函数f，将待预测合金的微观图像和数据输入多模态神经网络模型，经过多模态神经网络模型计算得到待预测合金的延伸率和抗拉强度预测值；

所述应用反向传播算法和链式法则进行训练的步骤如下：

(1)将预处理后的合金材料的图像信息输入至多模态神经网络模型中处理图像的卷积神经网络，提取合金材料微观组织图像中与延伸率和抗拉强度相关的图像特征信息，实现非结构化数据到结构化数据的转变；

(2)将卷积神经网络提取到的图像特征信息进行处理：1)删除卷积神经网络最后用于分类的全链接层，使得输出数据从原先的一维数组1×Y，其中Y为需要进行分类的类别，调整为多维度矩阵C×M×N，目的是使得卷积神经网络提取出来的信息更加具有用来预测的意义；2)将步骤1)调整后的图像特征信息进行维度变换，调整至与合金材料信息形同的维度1×X，1×X为结构化材料信息的维度，X为信息个数；目的在于使得多元复杂的非结构化图像特征信息，与结构化合金材料信息在相同的数据处理层次；3)将步骤2)调整过的图像特征信息进行大小变化，将卷积神经网络提取出来的信息调整至与下一步的合金材料信息大小相同，目的在于使得图像信息与合金材料信息在进行材料属性值的预测时的权重相同，使得二者的信息在预测时更有意义；

(3)将上述图像特征信息和合金材料信息进行融合，并输入多模态神经网络模型，再使用链式法则反向传播算法进行训练，在迭代至误差小于5％后，使得多模态神经网络模型学习到关于预测合金材料延伸率和抗拉强度的参数ω、b，其中w、b都为多组多维矩阵；

其中反向传播算法为：

其中l为损失函数：

为偏导数；

卷积神经网络为RES-152，并删除了RES-152用于进行分类任务的最后一个全链接层；

训练步骤中的损失函数为MSEloss：

其中C为损失函数的值，Q为模型在进行一次迭代训练时的预测值，a^L为真值，n为样本的总数量，S为样本。

2.根据权利要求1所述的基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，其特征在于：训练步骤中卷积神经网络和神经网络的桥接方式为维度统一，大小相同的TENSOR拼接。

3.根据权利要求1所述的基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，其特征在于：训练步骤中神经网络的深度为3，采用RELU为激活函数。