[发明专利]基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法

说明书

本发明公开了一种基于多模态深度学习的Sn‑Bi合金延伸率和抗拉强度的预测方法，属于人工智能领域；本发明方法与现有技术相比，构建的多模态神经网络模型实现了结构化数据与非结构化数据的多模态融合，将卷积神经网络和神经网络进行桥接和融合，提高了模型预测准确率；将深度学习中的卷积神经网络用来进行数据预测；解决了不同配比锡铋系合金在不同试验条件下抗拉强度与延伸率的高准确率预测的问题，本发明方法误差在正负5％‑10％之间，相较于传统的机器学习模型误差的40％‑50％，本发明多模态深度学习模型的准确率有了很大的提高。

技术领域

本发明涉及一种基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，属于人工智能领域。

背景技术

多模态深度学习旨在通过深度学习的方法实现处理和理解多源模态信息的能力。随着社会和经济的快速兴起，多模态深度学习已在社会生产中的各个方面有了众多应用，起到了非常瞩目的效果。目前比较热门的研究方向是图像、视频、音频、语义之间的多模态学习。例如：在语音识别中，人类通过合并语音-视觉信息来理解语音。视觉模态提供了发音地方和肌肉运动的信息，可以帮助消除相似语音的歧义，以及通过肢体行为和语音来判断说话者的情绪等等。

目前，针对不同成分合金的属性预测，大多有两种方法，第一种是采用最原始实验的方法，根据不同成分合金的样本来测量合金的各个属性，这种方法不仅费时费力，而且存在不能举一反三，效果单一的缺点；第二种是采用机器学习的方法，多是使用结构化的合金材料信息参数(如不同种合金成分的多少)来进行属性值的预测。但是上述两种方法都不能解决预测参数既有结构化数据也存在非结构化数据的问题。于是根据大量结构化数据与非结构化数据，且在统计学理念基础上，采用多模态交互的深度学习的方法来进行不同成分合金的属性值预测就显得非常重要，并且高效。

发明内容

本发明提供了一种基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，本方法使用的是多模态深度学习模型，使用结构化的合金材料信息，以及非结构化的合金图像信息进行数据预测，解决了预测数据过于单一、不准确的问题。

本发明基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法，步骤如下：

(1)采用光学显微镜和电子显微镜对不同配比的合金材料的微观图像进行采集，并标注不同放大倍数下的图像信息；

(2)通过仪器获取不同配比的合金样本在不同拉伸速率、不同拉伸力下的延伸率和抗压强度，并与步骤(1)图像信息整合，形成若干条合金样本数据；

(3)按4-5:1的比例将上述合金样本数据分为训练集和测试集；

(4)采用pytorch框架进行卷积神经网络和神经网络的编写，并使用python语言编程进行卷积神经网络和神经网络的桥接，从而构建多模态神经网络模型；

本模型中的卷积神经网络用来进行数据的预测；卷积神经网络为RES-152，并删除了RES-152用于进行分类任务的最后一个全链接层。

(5)基于多模态神经网络模型，采用公式y＝ωx+b，以y＝f(x)为预测函数并应用反向传播算法和链式法则进行训练；

y＝σ(z')  (1)

z'＝ω₂₁a+b₂  (2)

a＝σ(z)  (3)

z＝ω₁₁x₁+ω₁₂x₂+b₁  (4)