[发明专利]基于深度学习的非结构化数据判决方法和装置

权利要求书

1.一种基于深度学习的非结构化数据判决方法，所述方法包括：

获取训练后的深度学习神经网络模型，其中，所述训练后的深度学习神经网络模型为经多因子训练样本训练的多因子联合判决神经网络模型；所述多因子联合判决神经网络模型融合了具有关联关系的、不同因子所对应的深度学习神经网络子模型；

接收在线实时采集的线索数据，所述线索数据包括视频数据、文本数据、音频数据；

通过所述训练后的深度学习神经网络模型对接收的所述线索数据进行联合分析，提取有利于从所述视频数据中检索目标的特征线索信息；所述特征线索信息包括检索目标的位置信息或检索目标的声音信息；

根据所述特征线索信息定位所述视频数据中的目标视频数据段，对所述目标视频数据段进行判决，生成判决结果；所述判决结果为所述视频数据中的目标对象；

反馈所述判决结果。

2.根据权利要求1所述的方法，其特征在于，所述通过所述训练后的深度学习神经网络模型对接收的所述线索数据进行联合分析，提取有利于从所述视频数据中检索目标的特征线索信息的步骤包括：

通过所述训练后的深度学习神经网络模型对接收的所述线索数据进行特征提取，得到高维特征向量；

采用散列检索算法将所述高维特征向量转化成带有各维度关联关系的散列码，并根据所述散列码进行有利于从所述视频数据中检索目标的特征线索信息的提取。

3.根据权利要求1所述的方法，其特征在于，在所述获取训练后的深度学习神经网络模型，其中，所述训练后的深度学习神经网络模型为经多因子训练样本训练的多因子联合判决神经网络模型的步骤之前，还包括：

接收终端上传的训练样本，其中，所述训练样本数据为多因子训练样本；

在离线状态下，利用深度学习算法对所述多因子训练样本中每个因子对应的训练样本构建深度学习神经网络子模型；

获取构建的所述深度学习神经网络子模型之间的关联关系；

根据所述关联关系融合所述深度学习神经网络子模型，生成可进行多因子联合决策的深度学习神经网络模型。

4.根据权利要求3所述的方法，其特征在于，所述多因子训练样本包括视频数据、图像数据、音频数据、文本数据和网络数据。

5.根据权利要求2所述的方法，其特征在于，当在设定时间内接收的所述线索数据包含一种数据类型时，则使用所述数据类型对应的所述因子的深度学习神经网络子模型对所述线索数据进行分析判决，得到判决结果。

6.一种基于深度学习的非结构化数据判决装置，其特征在于，所述装置包括：

神经网络模型获取模块，用于获取训练后的深度学习神经网络模型，其中，所述训练后的深度学习神经网络模型为经多因子训练样本训练的多因子联合判决神经网络模型；所述多因子联合判决神经网络模型融合了具有关联关系的、不同因子所对应的深度学习神经网络子模型；

实时数据接收模块，用于接收在线实时采集的线索数据，所述线索数据包括视频数据、文本数据、音频数据；

特征信息提取模块，用于通过所述训练后的深度学习神经网络模型对接收的所述线索数据进行联合分析，提取有利于从所述视频数据中检索目标的特征线索信息；所述特征线索信息包括检索目标的位置信息或检索目标的声音信息；

联合判决模块，用于根据所述特征线索信息定位所述视频数据中的目标视频数据段，对所述目标视频数据段进行判决，生成判决结果；所述判决结果为所述视频数据中的目标对象；

判决结果反馈模块，用于反馈所述判决结果。

7.根据权利要求6所述的装置，其特征在于，所述特征信息提取模块，还用于通过所述训练后的深度学习神经网络模型对接收的所述线索数据进行特征提取，得到高维特征向量；采用散列检索算法将所述高维特征向量转化成带有各维度关联关系的散列码，并根据所述散列码进行有利于从所述视频数据中检索目标的特征线索信息的提取。