[发明专利]计算文本间相似度的方法和装置

权利要求书

1.一种计算文本间相似度的方法，其特征在于，包括：

根据归一化模板对待分析的第一文本和第二文本进行归一化处理，以使意义相同的词语或词组统一为同一个词语或词组；

以原始词典作为数据源，建立近义词聚类，查询归一化后的所述第一文本和第二文本位于同一个近义词聚类中的近义词，并获取所述近义词的语义相似度；

获取所述第一文本和第二文本中各个词语或词组的权重；

根据所述近义词的语义相似度、所述权重和预设的语义相似度模型，计算所述第一文本和第二文本的相似度；

其中，所述语义相似度模型为依据所述第一文本和第二文本之间语义相同和相近部分的权重与所述第一文本和第二文本之间的语义总权重的比值得到所述第一文本和第二文本的相似度；所述语义总权重包括：所述第一文本和第二文本之间相同词的权重、近义词的权重和不同词的权重；所述近义词的权重包括：近义词相同部分的权重和近义词不同部分的权重。

2.根据权利要求1所述的计算文本间相似度的方法，其特征在于，所述根据归一化模板对待分析的第一文本和第二文本进行归一化处理，具体包括：

将所述第一文本和第二文本拆分为若干个词语或词组；

将拆分后的词语或词组分别映射到所述归一化模板中，得到相对应的词语或词组。

3.根据权利要求1所述的计算文本间相似度的方法，其特征在于，同一个所述近义词聚类中的词语互为近义词，不同所述近义词聚类的词语之间的语义相似度为0，完全相同的两个词语之间的语义相似度为1。

4.根据权利要求1所述的计算文本间相似度的方法，其特征在于，所述语义相似度模型具体为：

其中，＜s_i,s_j＞∈C表示有两个近义词＜s_i,s_j＞属于近义词聚类C，sim_i,j为两个所述近义词之间的语义相似度，w_i∈d_m∩d_n表示所述第一文本和第二文本之间完全相同的词语的权重。

5.根据权利要求1所述的计算文本间相似度的方法，其特征在于，所述近义词聚类的生成方法包括：

步骤a：扫描原始词典，将所有相似度为1的近义词对分别聚成一个聚类，每个所述聚类中包括两个词语或词组；

步骤b：根据类间相似度公式，查找类间相似度最大的两个聚类，并将其合并成一个新的聚类，所述类间相似度公式具体为：

步骤c：判断是否达到终止条件，所述终止条件为所述聚类间的相似度均小于第一阈值，或者所述聚类的个数小于第二阈值，

如果已经达到终止条件，则结束生成近义词聚类的进程，

如果没有达到终止条件，则返回步骤b继续聚类。

6.一种计算文本间相似度的装置，其特征在于，包括：

归一化单元，用于根据归一化模板对待分析的第一文本和第二文本进行归一化处理，以使意义相同的词语或词组统一为同一个词语或词组；

语义相似度获取单元，用于查询归一化后的所述第一文本和第二文本位于同一个近义词聚类中的近义词，并获取所述近义词的语义相似度，其中，所述近义词聚类是以原始词典为数据源建立；

权重获取单元，用于获取所述第一文本和第二文本中各个词语或词组的权重；

相似度计算单元，用于根据所述近义词的语义相似度、所述权重和预设的语义相似度模型，计算所述第一文本和第二文本的相似度；其中，所述语义相似度模型为依据所述第一文本和第二文本之间语义相同和相近部分的权重与所述第一文本和第二文本之间的语义总权重的比值得到所述第一文本和第二文本的相似度；所述语义总权重包括：所述第一文本和第二文本之间相同词的权重、近义词的权重和不同词的权重；所述近义词的权重包括：近义词相同部分的权重和近义词不同部分的权重。