[发明专利]基于多模态学习和LSTM风险研判方法

说明书

本发明公开基于多模态学习和LSTM风险研判方法，包括如下步骤：获取相关的数据，数据中要求有时空信息特征并有其他的多源数据信息；对数据进行预处理，多模态信息融合；依据提出的数据流进行数据处理，生成中间结果数据；基于改进的LSTM进行风险研判；得到风险研判结果并依据验证集数据计算准确率。本发明通过多模态信息融合的技术，对多源数据进行技术融合，生成具有特定长度大小的向量。在目前比较优秀对LSTM模型上做了一定程度改造创新，优化了已有对依靠人工或者简单数据统计的方法对特殊人员进行风险研判的方法，提出了数据背景下一种公共安全领域特殊人员风险研判方法。

技术领域

随着经济和数字化社会的发展，对特殊人员进行风险研判一直是公共安全领域的重要研究课题，对维护社会和谐稳定具有重要作用。智慧城市特殊人员画像及风险研判在公共安全领域扮演着重要的角色。本发明正是在这样的背景下，提出了基于多模态学习和LSTM风险研判方法。

背景技术

很多数据都是图结构，例如社交网络、经济网络、生物网络、信息网络(互联网网站、学术引用)、互联网、神经网络。而网络是它们的通用语言，因此具备极大的研究价值。可以做一下潜在的机器学习任务。

表示学习嵌入向量的最新进展导致学习图的连续空间表示的方法激增。这些方法处理图形并将每个节点编码为向量，可以与现有的机器学习算法集成。此类嵌入方法学习了保留图结构的向量。传统特征方法的表示学习可以最大程度地减小连接节点的欧几里得距离，这可以通过对称图拉普拉斯算子的特征分解来解决。一般而言，随机游走方法在生成保留图形结构的矢量表示方面要胜于“本征”方法。

模态是指人接受信息的特定方式。由于多媒体数据往往是多种信息的传递媒介(例如一段视频中往往会同时使得文字信息、视觉信息和听觉信息得到传播)，多模态学习(Multimodal Deep Learning)已逐渐发展为多媒体内容分析与理解的主要手段。

Long Short Term Memory，即我们所称呼的LSTM，是为了解决长期以来问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。

发明内容

本发明的目的是为解决背景技术中的问题，提出一种基于多模态学习和LSTM风险研判方法。

本发明的技术方案是基于多模态学习和LSTM风险研判方法，包括如下步骤：

第一步：获取相关的数据，数据中要求有时空信息特征并有其他的多源数据信息；

第二步：对数据进行预处理，多模态信息融合；

第三步:依据提出的数据流进行数据处理，生成中间结果数据；

第四步:基于改进的LSTM进行风险研判；

第五步：得到风险研判结果并依据验证集数据计算准确率。

数据的预处理与模型的损失函数：

1)数据标准化：数据的标准归一化可以将数据集映射到另外一个统一尺度的纬度中，通过对数据集中样本的统计，对每个特征分别进行定心和定标，使“变换”方法将均值和标准差存储起来，使得数据集所有特征的趋势对样本由距离产生的影响归至同一级别；

模型的输入犯罪时空序列属于包含了多区域信息比较复杂的数据结构；

犯罪时空数据标准归一化后的犯罪时空序列Z(t)计算方法如下：

Z(t)＝(x-u)/σ

上式中，u表述输入到序列x的数学期望值；符号σ表示输入序列x的标准偏差；

2)模型的损失函数：

使用均方误差(Mse)函数作为损失函数，犯罪时空序列的预测就是回归问题，预测值和目标值之间的损失函数的计算公式如下：