[发明专利]文本相似度的确定方法和装置

权利要求书

1.一种文本相似度的确定方法，其特征在于，包括：

将第一中文文本中的汉字转化为拼音，得到第一拼音文本，将第二中文文本中的汉字转化为拼音，得到第二拼音文本；

以词语为单元从所述第一拼音文本中提取出多个第一字符串，以词语为单元从所述第二拼音文本中提取出多个第二字符串，其中，所述第一字符串为第一中文文本中多个连续的词语对应的拼音，所述第二字符串为第二中文文本中多个连续的词语对应的拼音；

计算第一字符串Ai与第二字符串Bj的相似度，其中，i取1至m，j取1至n，m为所述多个第一字符串中第一字符串的个数，n为所述多个第二字符串中第二字符串的个数；以及

将计算出的最大的相似度确定为所述第一中文文本与所述第二中文文本的相似度；

其中，计算第一字符串Ai与第二字符串Bj的相似度包括：按照汉语拼音的规则统计第一字符串Ai中每种拼音单元的个数和第二字符串Bj中每种拼音单元的个数；由第一字符串Ai中每种拼音单元的个数生成第一特征向量，由第二字符串Bj中每种拼音单元的个数生成第二特征向量；计算所述第一特征向量与所述第二特征向量的距离，作为第一字符串Ai与第二字符串Bj的相似度。

2. 根据权利要求1所述的方法，其特征在于，在计算出的相似度包括所述第一特征向量与所述第二特征向量的距离的情况下，按照汉语拼音的规则统计第一字符串Ai中每种拼音单元的个数和第二字符串Bj中每种拼音单元的个数包括：

将汉字中的一个声母作为一个拼音单元，一个韵母作为一个拼音单元，统计第一字符串Ai中每种声母和每种韵母的个数以及第二字符串Bj中每种声母和每种韵母的个数；或者

将汉字中的一个整体认读音节作为一个拼音单元，非整体认读音节的汉语拼音的一个声母作为一个拼音单元，非整体认读音节的汉语拼音的一个韵母作为一个拼音单元，统计第一字符串Ai中非整体认读音节所包含的每种声母、非整体认读音节所包含的每种韵母以及每种整体认读音节的个数以及第二字符串Bj中非整体认读音节所包含的每种声母、非整体认读音节所包含的每种韵母以及每种整体认读音节的个数。

3.一种文本相似度的确定装置，其特征在于，包括：

转化单元，用于将第一中文文本中的汉字转化为拼音，得到第一拼音文本，将第二中文文本中的汉字转化为拼音，得到第二拼音文本；

提取单元，用于以词语为单元从所述第一拼音文本中提取出多个第一字符串，以词语为单元从所述第二拼音文本中提取出多个第二字符串，其中，所述第一字符串为第一中文文本中多个连续的词语对应的拼音，所述第二字符串为第二中文文本中多个连续的词语对应的拼音；

计算单元，用于计算第一字符串Ai与第二字符串Bj的相似度，其中，i取1至m，j取1至n，其中，m为所述多个第一字符串中第一字符串的个数，n为所述多个第二字符串中第二字符串的个数；以及

确定单元，用于将计算出的最大的相似度确定为所述第一中文文本与所述第二中文文本的相似度；

其中，计算单元包括:统计模块，用于按照汉语拼音的规则统计第一字符串Ai中每种拼音单元的个数和第二字符串Bj中每种拼音单元的个数；生成模块，用于由第一字符串Ai中每种拼音单元的个数生成第一特征向量，由第二字符串Bj中每种拼音单元的个数生成第二特征向量；距离计算模块，用于计算所述第一特征向量与所述第二特征向量的距离，作为第一字符串Ai与第二字符串Bj的相似度。

4.根据权利要求3所述的装置，其特征在于，在所述计算单元包括统计模块、生成模块和距离计算模块的情况下，所述统计模块具体用于将汉字中的一个声母作为一个拼音单元，一个韵母作为一个拼音单元，统计第一字符串Ai中每种声母和每种韵母的个数以及第二字符串Bj中每种声母和每种韵母的个数；或者，所述统计模块具体用于将汉字中的一个整体认读音节作为一个拼音单元，非整体认读音节的汉语拼音的一个声母作为一个拼音单元，非整体认读音节的汉语拼音的一个韵母作为一个拼音单元，统计第一字符串Ai中非整体认读音节所包含的每种声母、非整体认读音节所包含的每种韵母以及每种整体认读音节的个数以及第二字符串Bj中非整体认读音节所包含的每种声母、非整体认读音节所包含的每种韵母以及每种整体认读音节的个数。