[发明专利]一种字符串处理方法及装置

权利要求书

1.一种字符串处理方法，包括：

将第一字符串根据语义进行分词，得到各第一字符子串；

将第二字符串根据语义进行分词，得到各第二字符子串；所述第二字符子串是一个或多个且每个第二字符子串中包括选定的第一字符子串；所述选定的第一字符子串为语义权重大于预设阈值的第一字符子串；

依据所述各第一字符子串和所述各第二字符子串各自的语义权重，确定所述第一字符串和第二字符串之间的语义编辑距离；

依据所述语义编辑距离，确定所述第一字符串和第二字符串之间的相似度。

2.如权利要求1所述的方法，在将第二字符串根据语义进行分词之前，还包括：

依据所述各第一字符串子串检索所述第二字符串。

3.如权利要求2所述的方法，依据所述各第一字符串子串检索所述第二字符串，具体包括：

选择语义权重大于设定阈值的第一字符子串；

采用选择出的第一字符子串检索字符串数据库，找出所述第二字符串。

4.如权利要求1所述的方法，将第一字符串根据语义进行分词，具体包括：

按语义单元对所述第一字符串进行分词；

将第二字符串根据语义进行分词，具体包括：

按语义单元对所述第二字符串进行分词。

5.如权利要求1所述的方法，在依据所述各第一字符子串和所述各第二字符子串各自的语义权重之前，还包括：

依据所述各第一字符子串和各第二字符子串，分别查找语义权重表；

从所述语义权重表中找出所述各第一字符子串和各第二字符子串对应的语义权重。

6.如权利要求5所述的方法，所述语义权重表是预先依据数据库中保存的样本进行计算获得的，包括:

预先抽取一定数量且不重复的字符串样本；

将所述一定数量的字符串样本进行分词，得到若干具有一定语义单元的样本子串；

根据逆向文件频率IDF词语普遍重要性的度量计算公式，计算各样本子串的语义权重。

7.如权利要求1-6任一项所述的方法，依据所述各第一字符子串和所述各第二字符子串各自的语义权重，确定所述第一字符串和第二字符串之间的语义编辑距离，具体包括：

依据以下公式计算语义编辑距离：

当i=0且j=0 时，edit(0, 0)=0；

当i=0且j0时，edit(0, j)=edit(0, j-1)+tw_j;

当i0且j=0 时，edit(i, 0)=edit(i-1, 0)+sw_i;

当i0且j0时，edit(i, j)=min(edit(i-1, j)+ sw_i, edit(i,j-1)+ tw_j, edit(i-1,j-1)+f(i, j) )；

其中i表示第一字符子串个数，j表示第二字符子串个数；tw_j表示第二字符子串的t_j语义权重，sw_i表示第一字符子串s_i的语义权重；edit(i,j)表示第一字符子串集合（s₁, s₂, s₃… s_i）到第二字符子串集合(t₁, t₂, t₃ … t_j)的语义编辑距离，当i和j分别为第一字符串S和第二字符串T的所包含的所有子串数量时，edit(i,j)等于第一字符串S与第二字符串T之间的语义编辑距离edit(S,T)；f(i,j)表示第i个第一字符子串s_i转换到第j个第二字符子串t_j所产生的语义编辑距离，当s_i=t_j，则f(i, j)=0；当s_i≠t_j，则f(i, j)=MAX(sw_i,tw_j)。