[发明专利]一种基于深度学习的多模式数据融合方法

摘要

本申请公开了一种基于深度学习的多模式数据融合方法，包括：对N个模式数据分别进行向量化处理；N为自然数，且N个模式数据中包括传感器数据；对N个模式数据中每一个模式数据建模，得到N个单模式数据；将得到的任意两个单模式数据进行融合，得到双模式数据；将包含相同模式数据的任意两个双模式数据进行融合，将任一个双模式数据和与该双模式数据不相同的单模式数据进行融合，得到三模式数据；以此类推，根据得到的N‑1模式数据进行N模式数据融合，得到N模式数据。本申请可以融合包括传感器数据在内的多种模式数据。

主权项

1.一种基于深度学习的多模式数据融合方法，其特征在于，包括：对N个模式数据分别进行向量化处理；N为自然数，且N个模式数据中包括传感器数据；对N个模式数据中每一个模式数据建模，得到N个单模式数据；将得到的任意两个单模式数据进行融合，得到双模式数据；将包含相同模式数据的任意两个双模式数据进行融合，将任一个双模式数据和与该双模式数据不相同的单模式数据进行融合，得到三模式数据；以此类推，根据得到的N‑1模式数据进行N模式数据融合，得到N模式数据；所述N为4，四个模式数据分别为音频数据、传感器数据、图像数据和文本数据，对所述音频数据进行稀疏化和向量化处理具体为：根据第j个隐层神经元的平均激活度得到m为音频数据的个数，x⁽ⁱ⁾表示第i个音频数据；其中，表示两个分别以ρ和为均值伯努力分布的相对熵，ρ为稀疏性参数，为隐藏神经元j的激活度，n为隐层神经元个数；设定截断核范数；然后进行稀疏自编码学习，得到稀疏化和向量化的音频数据J_sparse(W,b)；其中，h_W,b(x⁽ⁱ⁾)表示重建的x⁽ⁱ⁾，β,α表示稀疏化惩罚因子的权重，W⁽¹⁾表示可见层到第一隐层的权重；对传感器数据和图像数据进行稀疏化和向量化处理，具体为：设神经网络为k层，设传感器数据和图像数据均由N个数据样本组成，每个数据样本为D维向量，第k层数据向量为预设每一层的学习阈值为(b₁,…b_K)，每一层的学习阈值逐渐增加；进行可见层到第一隐层的学习，得到第一隐层的向量；根据得到的第一隐层的向量，进行第i隐层到第i+1隐层的学习，得到第i+1隐层的向量，0<i<k‑2；根据第k‑2隐层的向量，进行第k‑2隐层到第k‑1隐层的学习，得到稀疏化和向量化后的传感器数据和图像数据。