[发明专利]一种基于语义分析的文本聚类系统及方法

权利要求书

1.一种基于语义分析的文本聚类系统，其特征在于，包括依次连接的预处理模块、语义分析模块、向量生成模块和聚类模块；其中，

预处理模块，用于对文本进行中文分词和停用词过滤；

语义分析模块，用于进行语义相似度分析以及特征项权重计算，提取关键词特征项，对文本进行归一化，语义分析模块内置本体和实体词典，本体用于对文本进行语义分析，实体词典用于对文本进行实体提取，本体的基本组成单元为概念，概念构成概念树，概念树组成本体；

向量生成模块，内置向量空间模型，用于对文本进行向量化，生成文本向量；

聚类模块，根据文本向量对文本进行聚类。

2.如权利要求1所述的基于语义分析的文本聚类系统，其特征在于，语义相似度计算公式为：

Sim(W1,W2)=aDis(W1,W2)+a]]>

Dis(W₁,W₂)为词语W1、W2对应的概念在概念树上的距离，概念树为本体的组成单元，a为可调节的计算常数。

3.如权利要求1所述的基于语义分析的文本聚类系统，其特征在于，特征项权重计算公式为：

w=tf×idf=tf×ln(nm+1)]]>

其中，w为特征项t在文档d中的权重值，tf表示t在d内出现的频率，idf表示t的反比文本频率，n表示训练集的文档总数，m表示训练集中包含t的文档数。

4.一种基于语义分析的文本聚类方法，其特征在于，根据本体对文本进行语义分析，并对文本内容进行归一化，生成文本向量，具体包括以下步骤：

S1、输入文本，并进行预处理，对文本进行中文分词和停用词过滤；

S2、根据本体，对文本进行语义分析，并根据实体词典对文本进行实体分析，提取实体文本；

S3、根据本体，进行语义相似度分析以及特征项权重计算，提取关键词特征项，对文本进行归一化；

S4、根据向量空间模型，对归一化文本进行向量化，生成文本向量；

S5、根据文本向量对文本进行聚类；

步骤S1中，需要判别文本是否为中文，当文本为中文时，对其进行中文分词和停用词过滤；当文本非中文时，对其进行词形变换后直接进行停用词过滤；

步骤S3中设置门限值n，关键词特征项为权重值大于门限值n的特征项。

5.如权利要求4所述的基于语义分析的文本聚类方法，其特征在于，0.1<n<1。

6.如权利要求4所述的基于语义分析的文本聚类方法，其特征在于，n＝0.7。