[发明专利]一种文本处理方法、装置、存储介质和电子设备

权利要求书

1.一种文本处理方法，其特征在于，所述方法包括：

获取待处理字符串；

以迭代的方式逐步增加候选字符串的长度，根据预设的第一词典确定各候选字符串的第一最优划分代价直至候选字符串与所述待处理字符串相同，其中，所述候选字符串为从所述待处理字符串的首字符为起始的子字符串，所述划分代价用于表征将候选字符串划分为两段后，前一段为串联的至少一个单词且后一段为所述第一词典中的单独的单词的可能性，所述第一最优划分代价为可能性最大的划分位置对应的划分代价；

根据各候选字符串的第一最优划分代价回溯将所述待处理字符串划分为多个第一单词字符串。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

以迭代的方式逐步增加候选字符串的长度，根据预设的第二词典确定各候选字符串的第二最优划分代价直至候选字符串与所述待处理字符串相同，其中，所述候选字符串为从所述待处理字符串的首字符为起始的子字符串，所述划分代价用于表征将候选字符串划分为两段后，前一段为串联的至少一个单词且后一段为所述第二词典中的单独的单词的可能性，所述第二最优划分代价为可能性最大的划分位置对应的划分代价；

根据各候选字符串的第二最优划分代价回溯以将所述待处理字符串划分为多个第二单词字符串；

其中，所述第一词典和所述第二词典为不同语种的词典；

根据所述待处理字符串的第一最优划分代价和第二最优划分代价确定输出所述多个第一单词字符串或所述多个第二单词字符串作为划分结果。

3.根据权利要求1所述的方法，其特征在于，所述以迭代的方式逐步增加候选字符串的长度，根据预设的第一词典确定各候选字符串的第一最优划分代价直至候选字符串与所述待处理字符串相同包括：

确定当前迭代周期的候选字符串；

对于所述当前迭代周期的候选字符串，从字符串起始位置至结束位置遍历各划分位置，确定各划分位置的划分代价；

选取最优的划分代价作为当前迭代周期的候选字符串的第一最优划分代价；

其中，确定各划分位置的划分代价包括：

对于每个划分位置，根据预设的第一词典确定在所述划分位置进行划分后，前一段的第一最优划分代价和后一段的字符串代价；

根据所述前一段的第一最优划分代价和后一段的字符串代价之和确定当前划分位置对应的划分代价。

4.根据权利要求1所述的方法，其特征在于，根据各候选字符串的第一最优划分代价回溯将所述待处理字符串划分为多个单词字符串包括：

以待处理字符串为第一周期的候选字符串，以迭代方式，根据对应的第一最优划分代价逐步拆分候选字符串直至按照第一最优划分代价无法进一步拆分候选字符串。

5.根据权利要求4所述的方法，其特征在于，以迭代方式，根据对应的第一最优划分代价逐步拆分候选字符串直至按照第一最优划分代价无法进一步拆分候选字符串包括：

确定当前周期的候选字符串；

根据当前周期的候选字符串的第一最优划分代价对应的划分位置将所述候选字符串拆分为前一段和后一段；

将所述后一段确定为单词字符串；

响应于前一段长度不为零，将所述前一段作为下一周期的候选字符串；

响应于前一段长度为零，结束拆分。

6.根据权利要求1所述的方法，其特征在于，所述划分代价为前一段作为候选字符串的第一最优代价与后一段作为字符串代价的和；

其中，所述前一段的第一最优代价为前一段作为候选字符串时取得的各划分代价的最小值。

7.根据权利要求6所述的方法，其特征在于，所述字符串代价的计算方法为：

条件1为所述单词字符串在预设的词典中；以及

条件2为所述单词字符串不在预设的词典中；

其中，所述预设的词典为开放语料对应的词典，thres的取值为所述预设的词典中全部单词的字符长度的平均值；

len(word)为单词字符串的字符个数。