[发明专利]一种文本处理方法及装置

权利要求书

1.一种文本处理方法，其特征在于，所述方法包括：

随机获取两个待检测文本；

至少根据第一相似度算法和第二相似度算法，计算所述两个待检测文本之间的第一类型相似度和所述两个待检测文本之间的第二类型相似度，其中所述第一类型相似度根据所述第一相似度算法计算得到，所述第二类型相似度根据所述第二相似度算法计算得到，所述第一相似度算法和所述第二相似度算法中一种算法对词的缺失敏感小于另一种算法对词的缺失敏感；

根据所述第一类型相似度、所述第二类型相似度、第一阈值和第二阈值，得到所述两个待检测文本之间的相似度，其中所述第一阈值是预先得到的与所述第一相似度算法对应的阈值，所述第二阈值是预先得到的与所述第二相似度算法对应的阈值；

当所述两个待检测文本之间的相似度在预设范围内时，确定所述两个待检测文本相似；

当所述两个待检测文本之间的相似度不在预设范围时，确定所述两个待检测文本不相似。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一类型相似度、所述第二类型相似度、第一阈值和第二阈值，得到所述两个待检测文本之间的相似度，包括：

根据所述第一类型相似度和所述第一阈值，得到所述两个待检测文本之间的第一相似度；

根据所述第二类型相似度和所述第二阈值，得到所述两个待检测文本之间的第二相似度；

根据所述第一相似度、所述第二相似度、预设第一权重和预设第二权重，得到所述两个待检测文本之间的相似度。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：预先得到与所述第一相似度算法对应的第一阈值和预先得到与所述第二相似度算法对应的第二阈值；

所述预先得到与所述第一相似度算法对应的第一阈值和预先得到与所述第二相似度算法对应的第二阈值，包括：

随机生成多组候选解，每组候选解包括一个与所述第一相似度算法对应的第三阈值和一个与所述第二相似度算法对应的第四阈值；

从所述多组候选解中得到多组最优候选解，其中多组最优候选解的获取过程是：获取每组候选解对应的适应度函数，通过所述每组候选解对应的适应度函数计算训练集中的每对训练样本之间的相似度，根据所述每对训练样本之间的相似度，得到每组候选解的适应度，并根据所述每组候选解的适应度，选取多组最优候选解，每对训练样本包括两篇由人工标注相似度的文本，最优候选解的适应度大于其他候选解的适应度；

对所述多组最优候选解中的第三阈值进行交叉变异，对所述多组最优候选解中的第四阈值进行交叉变异，得到多组新的候选解，并对所述多组新的候选解执行所述获取过程以从多组新的候选解中得到多组最优候选解直至满足预设条件；

选取适应度大于其他最优候选解的适应度的最优候选解，所选取的最优候选解中的第三阈值作为所述第一阈值，所选取的最优候选解中的第四阈值作为所述第二阈值。

4.根据权利要求3所述的方法，其特征在于，所述根据所述每组候选解的适应度，选取多组最优候选解，包括：

获取所有候选解的适应度总和；

根据所述所有候选解的适应度总和和每组候选解的适应度，得到每组候选解的相对适应度；

随机生成一个介于0和1之间的数值，并根据随机生成的数值选取多组最优候选解。