[发明专利]一种基于数据挖掘的高维剧场数据降维可视化处理方法

说明书

一种基于数据挖掘的高维剧场数据降维可视化处理方法，属于剧场设备信息管理技术领域。它包括以下步骤：1、对高维剧场设备运行大数据进行降维处理；2、对异构数据的信息进行融合，并对融合的高维数据信息提取频繁序列模式；3、对剧场设备运行数据进行聚类处理；4、训练剧场设备运行数据向量，并根据词向量构成句子向量进行文本分类，将优化后的向量在二维语义空间进行语义可视化表示。本发明通过对海量剧场设备高维数据进行降维处理，将相似的文本收敛到可处理的量级，同时结合相关的半监督学习以及隔离森林算法对降维数据文件进行分类，设计数据分类模型算法并进行可视化展示，优化剧场设备运维数据的管理，实现高效准确的运维。

技术领域

本发明属于剧场设备信息管理技术领域，具体涉及一种基于数据挖掘的高维剧场数据降维可视化处理方法。

背景技术

目前各大小剧场已经全面开展剧场设备数据价值挖掘工作，针对剧场设备数据格式特点，围绕数据采集、数据处理和模型创建等方面开展相关的技术研究和应用，对海量剧场设备信息进行分析和处理，深层挖掘剧场设备信息的潜在价值，并同可视化技术进行结合，以直观图形的方式对数据发展趋势与关联情况进行呈现，为具体工作开展提供重要的数据信息。随着信息化建设和应用的不断深入，剧场设备管理者对高维剧场设备数据价值挖掘和可视化的需求持续增长，剧场设备运行系统的服务范围从剧场设备信息管理部门扩展到全业务，数据挖掘和可视化也不再只是面向单个信息系统，而是需要掌握数据的全面状态，及时发现剧场设备的故障隐患，提高剧场设备运行系统的智能化管理水平。

剧场设备管理部门已经积累了海量的剧场设备高维数据，为大数据的可视化工作奠定了基础。但剧场设备管理部门的信息管理系统主要从专业角度出发开展系统高维数据格式的管理，信息管理系统中的数据内容和频度仅考虑了当前自身业务需求，未考虑后期大规模数据分析应用和多维度数据可视化的需求，存在系统间高维数据标准不一致和数据缺失等数据质量问题，给日志数据价值挖掘带来困难。剧场设备信息管理系统的业务在逐步加宽，其业务支撑系统的复杂性也显著增加，当前支撑系统的运维管理和监控系统只是从系统底层指标判断系统的运行状态，为其提供系统可视化监控和故障诊断服务，缺少对系统整体性能和系统健康的评价标准。

发明内容

针对现有技术中存在的缺少对高维剧场数据的降维处理、可视化过程繁琐且不够准确的技术问题，本发明的目的在于提供一种基于数据挖掘的高维剧场数据降维可视化处理方法，能够对海量剧场设备高维数据进行降维处理，优化剧场设备运维数据的管理，实现高效准确的运维。

本发明提供如下技术方案：

一种基于数据挖掘的高维剧场数据降维可视化处理方法，包括以下步骤：

(1)将多源异构剧场设备运行数据进行初步整理，针对其中的多源模糊冲突信息，基于不精确推理理论的隔离森林异常检测分类技术和流形学习中的等距映射(ISOMAP)的非线性降维算法，在保持局部几何特征的前提下，对高维剧场设备运行大数据进行降维处理；

(2)针对剧场设备运行数据的异构性和多源性，分别对异构数据的信息进行抽取融合、多源数据融合和冲突融合，对融合的高维数据信息提取频繁序列模式，从日志信息中发现高维数据之间的关联性，构建日志信息序列；

(3)基于深度学习以及半监督学习的日志分析方法，对剧场设备运行数据进行聚类处理：以等距映射算法为基础，将相似度大于0.75的高维数据收敛到可处理的量级，同时结合相应的半监督学习以及深度学习方法对日志文件进行分类；

(4)使用Skip-gram模型来训练剧场设备运行数据向量，并根据词向量构成句子向量进行文本分类，以此来衡量词向量的质量，优化训练词向量的迭代次数、维度以及调整训练模型以及语料的大小；经过优化后的词向量作为CNN模型的输入，并在二维语义空间进行语义可视化表示。

优选的，所述步骤(2)的具体过程如下：

2.1、日志数据聚合：按照时间序列将日志信息进行排序并标准格式化；