[发明专利]一种文本处理方法及装置

权利要求书

1.一种文本处理方法，其特征在于，包括：

获取待处理的目标文本中的数值字符串；

确定所述数值字符串对应的单字符，所述单字符与所述目标文本中除所述数值字符串之外的字符均不相同；

将所述目标文本中的所述数值字符串替换为对应的所述单字符；

对替换后的所述目标文本进行文本处理，其中，所述文本处理至少包括切分处理。

2.根据权利要求1所述的方法，其特征在于，所述确定所述数值字符串对应的单字符，包括：

对所述数值字符串进行特征编码，得到目标特征编码；

确定所述目标特征编码对应的单字符。

3.根据权利要求2所述的方法，其特征在于，所述对所述数值字符串进行特征编码，得到目标特征编码，包括：

对所述数值字符串进行解析，得到所述数值字符串的特征参数，其中，所述特征参数包括符号、类型、长度和进制中的至少一项；

根据所述特征参数对所述数值字符串进行编码，得到所述目标特征编码。

4.根据权利要求2所述的方法，其特征在于，所述对所述数值字符串进行特征编码，得到目标特征编码之后，所述方法还包括：

判断码表中是否存在所述目标特征编码，其中，所述码表用于对应存储特征编码与单字符，且不同的特征编码对应的单字符不同；

在所述码表中不存在所述目标特征编码的情况下，确定所述目标特征编码对应的单字符；

将所述目标特征编码和所述目标特征编码对应的单字符对应存储于所述码表中；

所述对替换后的所述目标文本进行文本处理之后，所述方法还包括：

根据所述码表，将文本处理结果中的单字符替换为其对应的特征编码。

5.根据权利要求4所述的方法，其特征在于，所述在所述码表中不存在所述目标特征编码的情况下，确定所述目标特征编码对应的单字符，包括：

在所述码表中不存在所述目标特征编码的情况下，从预设单字符集合中获取目标单字符，其中，所述目标单字符为所述预设单字符集合中除所述码表已存储的单字符之外的任一单字符，所述预设单字符集合中的每个单字符均与所述目标文本中除所述数值字符串之外的字符不相同；

将所述目标单字符确定为所述目标特征编码对应的单字符。

6.根据权利要求4所述的方法，其特征在于，所述目标文本包括N个子文本，所述码表包括N个子码表，所述N个子码表与所述N个子文本一一对应，在所述N个子码表的每个子码表中不同的特征编码对应的单字符不同，N为大于1的整数。

7.一种文本处理装置，其特征在于，包括：

获取模块，用于获取待处理的目标文本中的数值字符串；

第一确定模块，用于确定所述数值字符串对应的单字符，所述单字符与所述目标文本中除所述数值字符串之外的字符均不相同；

第一替换模块，用于将所述目标文本中的所述数值字符串替换为对应的所述单字符；

处理模块，用于对替换后的所述目标文本进行文本处理，其中，所述文本处理至少包括切分处理。

8.根据权利要求7所述的装置，其特征在于，所述第一确定模块包括：

编码单元，用于对所述数值字符串进行特征编码，得到目标特征编码；

确定单元，用于确定所述目标特征编码对应的单字符。

9.一种文本处理装置，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的文本处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的文本处理方法的步骤。