[发明专利]基于Transformer模型的制造业多源异构数据融合方法

权利要求书

1.一种基于Transformer模型的制造业多源异构数据融合方法，其特征在于，包括：

根据采集到的数据生成包含有三种不同模态异构数据的输入序列X_{L,V,A}；

对输入序列X_{L,V,A}进行LMF低秩处理，生成向量h_{L,A,V}；

对输入序列X_{L,V,A}进行一维的时间卷积层，得到包含有时间信息的序列

为序列增加位置嵌入PE，得到不同模态包含低层位置信息的特征

将h_{L,A,V}与进行矩阵拼接后，输入到基于跨模态注意力的Transformer模块中进行信息融合；

通过一个序列模型Transfomer收集信息并提取序列模型的最后元素，通过全连接层得到融合特征。

2.根据权利要求1所述的基于Transformer模型的制造业多源异构数据融合方法，其特征在于，所述根据采集到的数据生成包含有三种不同模态异构数据的输入序列X_{L,V,A}的过程包括：

从制造企业的数据库、终端设备以及布设在现场的传感器中进行数据采集；

对采集到的数据进行清洗，剔除掉其中的异常数据和冗余数据；

按照数据类型划分形成三种不同模态的异构数据；

利用所述三种不同模态的异构数据形成矩阵X_{L,V,A}，作为输入序列。

3.根据权利要求2所述的基于Transformer模型的制造业多源异构数据融合方法，其特征在于，所述采集到的数据包括研发设计、物料采购、生产制造、产品销售及售后过程中产生的数据。

4.根据权利要求2所述的基于Transformer模型的制造业多源异构数据融合方法，其特征在于，所述三种不同模态的异构数据包括：

将振动、声音等具有频率特性的数据抽象成的异构数据X_A；

将图像、视频数据抽象成的异构数据X_V；

将语言、文字等自然语言数据抽象成的异构数据X_L。

5.根据权利要求1所述的基于Transformer模型的制造业多源异构数据融合方法，其特征在于，所述对输入序列X_{L,V,A}进行LMF低秩处理，生成向量h_{L,A,V}的过程包括：

将输入序列X_{L,V,A}通过LSTM网络压缩得到序列X_{'_L,A,V}，其中包括压缩后的三种不同模态的异构数据X'_L、X'_A、X'_V；

在压缩后的每一种模态的异构数据X'_L、X'_A、X'_V后面增加一位并赋值1，得到异构数据Z'_L、Z'_A、Z'_V，并形成序列Z′_{L,A,V}；

通过一个线性层，产生一个向量表示h_{L,A,V}：

h_{L,A,V}＝w·Z'_{L,A,V}

其中，w表示权重。

6.根据权利要求5所述的基于Transformer模型的制造业多源异构数据融合方法，其特征在于，采用以下公式计算h_{L,A,V}：

其中，表示第i种模态的异构数据的第m个权重；M表示权重的个数总数；r表示模态总数；表示一系列张量的元素积。