[发明专利]一种基于语义分析的文本聚类系统及方法

说明书

技术领域

本发明涉及文本信息处理技术领域，尤其涉及一种基于语义分析的文本聚类系统及方法。

背景技术

近年来，随着网络的大规模普及和企业信息化程度的提高，各种资源呈爆炸式增长，然而，大部分信息是存储在文本数据库中的，对于这种半结构或无结构化数据，能够获取特定内容信息的手段却较弱，导致信息搜寻困难和信息利用率低下。由此，文本挖掘、信息过滤和信息检索等方面的研究出现了前所未有的高潮。快速并高质量的文本聚类技术可以将大量文本信息组成少数有意义的簇，并使同一簇中的文本信息之间具有较高的相似度，而不同簇之间的文本差别较大，从而通过聚类驱动的降维或权值调整来改善检索性能，方便人们对文本信息的利用。聚类技术已成为文本信息挖掘技术中的核心技术，其工作效率与效果直接关系到文本信息处理的理想程度。

发明内容

基于背景技术存在的问题，本发明提出了一种基于语义分析的文本聚类系统及方法，根据语义分析对文本进行聚类，简化了聚类算法的工作量，提高工作效率，聚类的结果更加理想。

本发明提出的一种基于语义分析的文本聚类系统，包括依次连接的预处理模块、语义分析模块、向量生成模块和聚类模块；其中，

预处理模块，用于对文本进行中文分词和停用词过滤；

语义分析模块，用于进行语义相似度分析以及特征项权重计算，提取关键词特征项，对文本进行归一化，语义分析模块内置本体和实体词典，本体用于对文本进行语义分析，实体词典用于对文本进行实体提取，本体的基本组成单元为概念，概念构成概念树，概念树组成本体；

向量生成模块，内置向量空间模型，用于对文本进行向量化，生成文本向量；

聚类模块，根据文本向量对文本进行聚类。

优选地，语义相似度计算公式为：

Sim(W1,W2)=aDis(W1,W2)+a]]>

Dis(W₁,W₂)为词语W1、W2对应的概念在概念树上的距离，概念树为本体的组成单元，a为可调节的计算常数。

优选地，特征项权重计算公式为：

w=tf×idf=tf×ln(nm+1)]]>

其中，w为特征项t在文档d中的权重值，tf表示t在d内出现的频率，idf表示t的反比文本频率，n表示训练集的文档总数，m表示训练集中包含t的文档数。

本发明提供的一种基于语义分析的文本聚类方法，根据本体对文本进行语义分析，并对文本内容进行归一化，生成文本向量，具体包括以下步骤：

S1、输入文本，并进行预处理，对文本进行中文分词和停用词过滤；

S2、根据本体，对文本进行语义分析，并根据实体词典对文本进行实体分析，提取实体文本；

S3、根据本体，进行语义相似度分析以及特征项权重计算，提取关键词特征项，对文本进行归一化；

S4、根据向量空间模型，对归一化文本进行向量化，生成文本向量；

S5、根据文本向量对文本进行聚类；

步骤S1中，需要判别文本是否为中文，当文本为中文时，对其进行中文分词和停用词过滤；当文本非中文时，对其进行词形变换后直接进行停用词过滤；