[发明专利]一种基于多维矢量数据的网络数据挖掘方法和系统

说明书

本发明涉及一种基于多维矢量数据的网络数据挖掘方法和系统。方法包括：将多个网络信息数据源中的网络信息矢量化，形成多个多维矢量数据源，根据设定条件搜索所述多个多维矢量数据源，并汇总搜索结果，对汇总的搜索结果进行聚类分析，产生信息数据族集合，对所述信息数据族集合中的每一个信息数据族统计其空间矢量分布，通过关联度分析获得网络数据的关联性。通过将网络信息数据源中的网络信息矢量化，减少了聚类分析和关联度分析运算的复杂性，保证了信息数据族的快速收敛，实现了多角度的关联度分析，提高了数据挖掘的效率。

技术领域

本发明属于数据挖掘技术领域，具体涉及一种基于多维矢量数据的网络数据挖掘方法和系统。

背景技术

在互联网时代，随着移动互联网的普及和广泛应用，任何一个的事件都会在网络空间上产生大量的网络信息，包括但不限于自媒体用户公众号、微博、朋友圈、短视频、图片等相关内容。这些信息的特点是：信息量大、内容繁杂、形式多样、増长速度快、传播速度快、交互功能强。但是，由于这些网络信息零碎、分布范围广、多语种、无序、缺乏统一的数据库管理，因此试图人工从这些数据中还原事件的演化过程、发现关键环节、消除不良舆论影响较为困难。

现有技术中提出了采用数据挖掘技术分析热点事件网络信息的技术方案。以网络空间中提取的热点事件关键词为依托，通过与物理空间的数据集进行协同聚类，根据聚类结果提取物理空间与热点事件相关的信息样本，让用户可以快速、全面了解热点事件的相关信息。

然而，随着关键词数量增多，一方面协同聚类运算复杂度提高，难以快速获得聚类结果，另一方面缺少不同类型关键词之间的关联性分析，导致分析不够全面，数据挖掘效率较低。

发明内容

为了解决上述的聚类运算复杂度高，难以快速获得聚类结果，数据分析不够全面，数据挖掘效率较低的技术问题，本发明提出了一种基于多维矢量数据的网络数据挖掘方法和系统。

一种基于多维矢量数据的网络数据挖掘方法，包括：将多个网络信息数据源中的网络信息矢量化，形成多个多维矢量数据源，根据设定条件搜索所述多个多维矢量数据源，并汇总搜索结果，对汇总的搜索结果进行聚类分析，产生信息数据族集合，对所述信息数据族集合中的每一个信息数据族统计其空间矢量分布，通过关联度分析获得网络数据的关联性。

进一步地，所述多维矢量数据源表示为DATA(a，r，p)，a为行为信息分量，r为关系信息分量，p为位置信息分量。

进一步地，所述通过关联度分析获得网络数据的关联性包括计算每两个信息数据族之间的关联度，确定与事件的关联度高的信息数据族。

进一步地，所述通过关联度分析获得网络数据的关联性包括统计信息数据族中行为、关系、位置分量的分布情况，确定与事件关联度高的行为、关系和/或位置信息。

进一步地，还包括：计算信息数据族中代表行为、关系和/或位置分量的多个关键词与事件中代表行为、关系和/或位置分量的多个关键词的重合度，并进行归一化处理，将归一化后重合度大的关键词作为与时间关联度高的行为、关系和/或位置信息。

一种基于多维矢量数据的网络信息挖掘系统，包括：矢量化模块，用于将多个网络信息数据源中的网络信息矢量化，形成多个多维矢量数据源，搜索模块，用于根据设定条件搜索所述多个多维矢量数据源，并汇总搜索结果，聚类分析模块，用于对汇总的搜索结果进行聚类分析，产生信息数据族集合，关联度分析模块，用于对所述信息数据族集合中的每一个信息数据族统计其空间矢量分布，通过关联度分析获得网络数据的关联性。

进一步地，所述多维矢量数据源表示为DATA(a，r，p)，a为行为信息分量，r为关系信息分量，p为位置信息分量。

进一步地，所述通过关联度分析获得网络数据的关联性包括计算每两个信息数据族之间的关联度，确定与事件的关联度高的信息数据族。