[发明专利]基于Transformer模型的制造业多源异构数据融合方法

说明书

本发明公开了一种基于Transformer模型的制造业多源异构数据融合方法，包括：根据采集到的数据生成包含有不同模态异构数据的输入序列；对输入序列进行LMF低秩处理，生成向量h_{L,A,V}；对输入序列进行一维的时间卷积层；增加位置嵌入，得到不同模态包含低层位置信息的特征将h_{L,A,V}与进行矩阵拼接后，输入到基于跨模态注意力的Transformer模块中进行信息融合；通过一个序列模型Transfomer收集信息并提取序列模型的最后元素，通过全连接层得到融合特征。本发明通过将多个Transformer模块应用到制造业多源异构数据融合方案中，可以对制造业产生的多源异构数据进行快速融合，为后续的数据分析与决策提供技术支持。

技术领域

本发明属于数据融合技术领域，具体地说，是涉及一种利用Transformer模型对制造业的多源异构数据进行融合的方法。

背景技术

随着现代制造业向着自动化、信息化、智能化方向的快速发展，依托于物联网及传感技术的发展,制造业数据感知技术取得了突破性进展。生产过程中会产生大量的多源异构数据，海量数据及丰富的数据类型为制造业大数据应用与发展奠定了坚实基础。对海量复杂的制造业数据进行特征学习,发现大数据中隐藏的知识和规律,进而挖掘出大数据中潜在的价值，可为生产制造者提供更为有效的生产调度、设备管理等策略，从而提高生产质量和效率，极大促进该领域的发展。

然而，数据的快速增长给制造行业带来了宝贵资源的同时，也给其带来了巨大的挑战。由于产品的制造流程包括研发设计、物料采购、生产制造、产品销售及产品售后五个阶段，每个阶段下的数据都具有数据来源多样、数据质量低、数据蕴含信息复杂、数据实时性高等特点，尤其是在产品生产制造过程中产生的数据，不仅数据量十分庞大、来源丰富、类型多样、结构复杂，而且由于制造业不同的部门和系统之间数据的来源、存储形式等各不相同，数据源之间存在异构性、分布性和自治性，数据类型既包括数字、关系型数据等结构化数据，且由于海量数据来源广泛、非同源，数据的类型千差万别，有图像、视频、声音、文字和数值等，导致数据一致性差、可用性弱、共享率低等问题。因此，如何对制造业中的海量多源异构数据进行信息集成，构建制造业多源异构数据的全景信息模型，成为利用海量制造业大数据的前提。现阶段，以机器学习理论为基础,以感知数据为支撑的制造业数据融合成为了当前热门的研究领域。

数据融合的数据源不仅包括多种传感器，还包括人为输入的数据、其它信息化系统。如何最大限度地融合各种异构的信息,是一个值得深入研究的问题。这些异构、多模态数据融合的关键是通过异构模态数据间的互补学习来挖掘数据特征，进行统一表达。目前，跨数据融合常用的方法有：人工神经网络、深度学习特征压缩聚类法、卡尔曼滤波、多假设法等。其中，深度学习不像传统机器学习方法依赖人工设计特征，而是通过对这些底层的稀疏特征组合和抽象，形成稠密的高层表示，以提取出更多的信息。深度神经网络方法参数量大，且无法利用历史及时间的相关性，无法满足制造业全生命周期的异构数据融合。

发明内容

本发明的目的在于提供一种基于Transformer模型的制造业多源异构信息融合方法，通过该方法可以融合制造业多种模态的多源异构数据，利用跨模态异构数据的互补信息，形成数据特征的组合与统一表达，为后续的制造业数据分析与决策提供技术支撑。

为解决上述技术问题，本发明采用以下技术方案予以实现：

一种基于Transformer模型的制造业多源异构数据融合方法，包括：

根据采集到的数据生成包含有三种不同模态异构数据的输入序列X_{L,V,A}；

对输入序列X_{L,V,A}进行LMF低秩处理，生成向量h_{L,A,V}；

对输入序列X_{L,V,A}进行一维的时间卷积层，得到包含有时间信息的序列