[发明专利]基于深宽度联合神经网络的多模态数据知识信息提取方法

说明书

本发明公开了一种基于深宽度联合神经网络的多模态数据知识信息提取方法，包括步骤：1)收集智能制造工厂生产所产生的多模态数据，进行数据清洗预处理后存储至Hadoop分布式文件系统中；2)将存储在HDFS中的原始数据日志记录按模态性质进行细分建表，分别将多模态数据处理成单模态数据特征，包括语音，文本，图像等单模态数据特征表等并存储到HIVE数据库中；3)利用深宽度联合网络对多模态数据特征表进行特征提取，得到对应的高层抽象特征知识，从而实现深宽度联合网络对多模态数据知识信息的提取。

技术领域

本发明涉及深度学习，宽度学习及多模态数据特征提取等技术领域，尤其 是指一种基于深宽度联合神经网络的多模态数据知识信息提取方法。

背景技术

互联网技术高速发展，数字化产业链不断深入变革，大数据时代应运而生。 云计算、人工智能等技术飞速增长，建立起了以大数据为核心的数字生态社会。 来自于现实世界各方面的多模态数据，在现有的技术水平下很难得到有效分析。 海量数据带来的处理难度也大大提高。为了解决这些问题，亟待采用一种全新 的数据分析处理手段。运用最新AI技术融合来高效有效的处理多模态数据， 同时提供更灵活的个性化服务，洞察分析跨模态数据的语义信息，最大程度发 挥大数据价值，多模态数据的潜在价值将被真正激活。

当前，用于多模态数据的知识特征提取方法主要采用机器学习或者深度学习的方法来实现处理和理解多源模态信息的能力，但现有方法往往无法自适应实现 多个模态数据特征间的有效融合(李慧芳,赵蕾蕾,胡光政.一种基于多模态 融合深度学习的智能故障诊断方法,2018.)(仲崇亮.一种基于卷积神经网络 的多模态特征融合方法及装置,2019.)。多模态学习历经多个发展阶段目前已 经全面步入使用深度学习作为知识提取的主要手段，但传统深度学习方法耗时 费力，尤其是应用在多模态数据领域中往往需要强大的计算资源，很难满足工 业学术界的需要。然而近期提出的宽度学习为我们提供了另外一种快速有效的 学习方法，宽度学习可以在不失准确率的基础上达到快速训练模型的目的；而 深度学习可以通过多层神经网络，通过有监督信息的反向更新权重来提取到更 具区分与代表性的特征。如何结合深度学习提取特征的强大能力与宽度学习快 速训练的高效率，来设计一种新的用于提取多模态数据特征的有效方法成为了 一个关键问题。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于深宽度联合神经 网络的多模态数据知识信息提取方法，首先收集多模态数据进行清洗过滤预处 理等；得到处理后的样本后将其存储至Hadoop分布式文件系统中并按各个模 态数据性质进行细分建立特征表；对每个单模态数据建立不同层次的深度降噪 自编码机，利用隐藏层学习得到的抽象低维特征来重构输入数据；在上层利用 辅助桥接优化层根据特定的损失函数进行进一步优化；最后利用最上层的宽度 网络对多模态数据样本进行预测。充分发挥了深度学习在提取模态数据特征中 自主学习高层抽象代表性特征的优势以及宽度学习快速训练模型参数达到模 型快速更新的能力以适应工业界的需要，从而提高了多模态数据领域特征提取 的有效性以及时效性。

本发明至少通过如下技术方案之一实现。

基于深宽度联合神经网络的多模态数据知识信息提取方法，包括以下步骤：

1)收集人员对智能制造工厂所产生的多模态数据，对数据进行预处理，将 处理后的数据样本进行存储；

2)对原始多模态数据进行细分建表，分别将多模态数据处理成单模态数据 特征表；

3)利用深宽度联合网络对多模态数据特征表进行特征提取，得到对应的高 层抽象特征知识，从而实现对多模态数据知识信息的提取。

优选的，在步骤1)中，收集智能制造工厂系统在日常流水线中产生的多 模态数据日志并进行数据清洗过滤处理，将处理后的数据样本加载到以Kafka 为基础实现的分布式消息系统中，并将数据存储到Hadoop分布式文件系统的 存储模块中。