[发明专利]一种基于数据挖掘的高维剧场数据降维可视化处理方法

权利要求书

1.一种基于数据挖掘的高维剧场数据降维可视化处理方法，其特征在于，包括以下步骤：

(1)将多源异构剧场设备运行数据进行初步整理，针对其中的多源模糊冲突信息，基于不精确推理理论的隔离森林异常检测分类技术和流形学习中的等距映射(ISOMAP)的非线性降维算法，在保持局部几何特征的前提下，对高维剧场设备运行大数据进行降维处理；

(2)针对剧场设备运行数据的异构性和多源性，分别对异构数据的信息进行抽取融合、多源数据融合和冲突融合，对融合的高维数据信息提取频繁序列模式，从日志信息中发现高维数据之间的关联性，构建日志信息序列；

(3)基于深度学习以及半监督学习的日志分析方法，对剧场设备运行数据进行聚类处理：以等距映射算法为基础，将相似度大于0.75的高维数据收敛到可处理的量级，同时结合相应的半监督学习以及深度学习方法对日志文件进行分类；

(4)使用Skip-gram模型来训练剧场设备运行数据向量，并根据词向量构成句子向量进行文本分类，以此来衡量词向量的质量，优化训练词向量的迭代次数、维度以及调整训练模型以及语料的大小；经过优化后的词向量作为CNN模型的输入，并在二维语义空间进行语义可视化表示。

2.如权利要求1所述的一种基于数据挖掘的高维剧场数据降维可视化处理方法，其特征在于，所述步骤(2)的具体过程如下：

2.1、日志数据聚合：按照时间序列将日志信息进行排序并标准格式化；

2.2、频繁模式挖掘：利用时间滑动窗口进行频繁模式的挖掘；

2.3、事件模式检测：从上一阶段挖掘到频繁序列模式集合之后，对集合中的序列进行关联性分析；

2.4、关联规则预测：对关联规则进行预测，生成预测规则；

2.5、因果关联矩阵更新：将挖掘出的新的关联模式补充到因果关系矩阵。

3.如权利要求2所述的一种基于数据挖掘的高维剧场数据降维可视化处理方法，其特征在于，所述步骤2.2的具体过程如下：

利用滑动窗口的特性，将序列分为时间上等宽的子序列，当活动时间窗口进入到下一时间间隔时，从中挖掘宽度为i的候选集，构建宽度为i的频繁集，再构建i+1的候选集，直到新的频繁序列为空。

4.如权利要求1或3所述的一种基于数据挖掘的高维剧场数据降维可视化处理方法，其特征在于，所述步骤(3)的具体过程如下：

3.1、将日志数据划分为训练集、验证集和测试集，将训练集划分为标记训练数据和未标记训练数据，对有标记的训练数据学习生成一个随机森林，对未标记的训练数据进行学习标记，标记过程中计算样本的置信度；

3.2、取出置信度最小的样本，并把这类样本剔除；

3.3、重新训练这个随机森林，直到未标记训练集里的置信值都在置信阈值之内。

5.如权利要求4所述的一种基于数据挖掘的高维剧场数据降维可视化处理方法，其特征在于，所述步骤(4)的具体过程如下：

4.1、采用Skip-gram模型预测上下文目标词，从而最大化整个语料库其中，P(w/w_j)表示通过softmax函数产生第w个单词的多项式分布、w_j表示词序列[w₁,w₂,…,w_j]、w为字典中的任意词、c为w的上下文词、D为从调度语料中抽取出的字典。模型每次从目标词的上下文选择n个词，并将其词向量映射到对应的TF-IDF向量作为模型的输入；

4.2、采用Jaccard算法来计算日志信息的相似度：使用Jaccard距离进行预处理，将相似度小于0.25的日志数据筛选出去，接着再使用编辑距离进行判断，从而实现对日志的聚类收敛，以及给所有数据赋值唯一的id。