[发明专利]一种文本相似度的确定方法及设备

权利要求书

1.一种文本相似度的确定方法，其特征在于，包括：

获取待确定相似度的第一文本和第二文本；

确定所述第一文本的语法相似度、主题相似度，及确定所述第二文本的语法相似度、主题相似度；

根据确定的语法相似度和主题相似度确定所述第一文本和所述第二文本之间的相似度；

确定所述第一文本和所述第二文本的主题相似度，包括：

分别将所述第一文本和所述第二文本映射至主题空间；其中，所述第一文本及所述第二文本分别对应至少一个主题；

获取映射至所述主题空间的所述第一文本对应的至少一个第一主题向量及所述第二文本对应的至少一个第二主题向量；

根据所述至少一个第一主题向量、所述至少一个第二主题向量及第一预设规则，确定所述第一文本和所述第二文本的主题相似度；

其中，所述第一预设规则为：

其中，S_topic指示两个文本的主题相似度，A指示第一主题向量，B指示第二主题向量，A_i指示第i个第一主题向量，B_i指示第i个第二主题向量，n指示第一主题向量或第二主题向量的个数，i大于等于1且小于等于n；

确定所述第一文本和所述第二文本的语法相似度，包括：

将所述第一文本中的语句进行分割获得第一分词集，并将所述第二文本中的语句进行分割获得第二分词集；

通过斯坦福Stanford工具分别确定所述第一分词集及所述第二分词集中的语句的语法结构组成；

根据确定的所述第一分词集及所述第二分词集中的语句的语法结构组成，确定所述第一文本和所述第二文本的语法相似度；

所述语法结构包括至少一种语法结构类型，根据确定的所述第一分词集及所述第二分词集中的语句的语法结构组成，确定所述第一文本和所述第二文本的语法相似度，包括：

分别确定所述第一分词集包括语法结构类型及语法结构类型的数量，及所述第二分词集包括语法结构类型及语法结构类型的数量；

根据获取的所述第一分词集及所述第二分词集的语法结构类型及语法结构类型的数量，及第二规则确定所述第一文本和所述第二文本的语法相似度；

其中，所述第二规则为：

其中，S_grammer指示两个文本之间的语法相似度，sameCount指示所述第一分词集及所述第二分词集中相同语法结构类型的数量，m为所述第一分词集包括的语法结构类型的数量，n为所述第二分词集包括的语法结构类型的数量；

在根据确定的语法相似度和主题相似度确定所述第一文本和所述第二文本之间的相似度之前，还包括：

确定所述第一分词集及所述第二分词集中的分词的位置相似度；其中，所述位置相似度用于指示文本中的一个分词在一个语句中所在位置的相似程度；

根据确定的语法相似度和主题相似度确定所述第一文本和所述第二文本之间的相似度，包括：

根据确定的语法相似度和主题相似度及确定的位置相似度确定所述第一文本和所述第二文本之间的相似度；

根据确定的语法相似度和主题相似度及确定的位置相似度，确定所述第一文本和所述第二文本之间的相似度，包括：

通过第三规则确定所述第一文本和所述第二文本之间的相似度，其中，所述第三规则为：

S1(Sen1,Sen2)＝a*S_topic+(1-a)(b*S_grammer+(1-b)*(S_position))，其中S1(Sen1,Sen2)指示两个文本之间的相似度，S_position指示两个文本包括的分词分别在各自的位置相似度，a指示主题权值，b指示语法类型权值；

在获取待确定相似度的第一文本和第二文本之后，所述方法还包括：

确定所述第一文本和所述第二文本的情感相似度；

根据确定的语法相似度和主题相似度及确定的位置相似度确定所述第一文本和所述第二文本之间的相似度，包括：

根据确定的语法相似度和主题相似度、位置相似度及所述情感相似度确定所述第一文本和所述第二文本之间的相似度；

确定所述第一文本和所述第二文本的情感相似度，包括：

提取所述第一文本及所述第二文本中的至少一个程度副词，其中，所述程度副词用于指示对内容在程度上限定的副词；

根据获取的至少一个程度副词及程度副词与权值的映射关系，确定所述获取的至少一个程度副词对应的至少一个权值，其中，一个程度副词对应一个权值；

根据确定的至少一个权值及第四预设规则，确定所述第一文本和所述第二文本的情感相似度；

其中，所述第四预设规则为：

CDegSim(Sen1,Sen2)＝c*[abs(Deg(Sent1)-Deg(Sent2))]+(1-c)*S1(Sen1,Sen2)，其中，CDegSim(Sen1,Sen2)指示两个文本之间的情感相似度，Deg(Sent1)指示第一文本中程度副词的权值，Deg(Sent2)指示第二文本中程度副词的权值，c是句子间程度副词权重差值对句子相似度的影响权值。