[发明专利]一种用于识别失序文本的方法与设备

权利要求书

1.一种由计算机实现的用于识别失序文本的方法，该方法包括以下步骤：

a获取待识别的目标文本；

b根据所述目标文本，获得与所述目标文本相对应的统计信息；

c根据所述统计信息，识别所述目标文本是否为失序文本。

2.根据权利要求1所述的方法，其中，所述步骤b还包括：

-对所述目标文本进行分词处理，以获得与所述目标文本相对应的分词处理结果；

-对所述分词处理结果进行统计分析，以获得与所述目标文本相对应的单字分词或多字分词的统计分布信息；

其中，所述步骤c还包括：

-将所述统计分布信息与预设的参考分布信息进行比较，以识别所述目标文本是否为失序文本。

3.根据权利要求2所述的方法，其中，所述参考分布信息包括以下至少任一项：

-基于自然语言的标准分布信息；

-与所述目标文本所对应的应用相关的分布信息。

4.根据权利要求1至3中任一项所述的方法，其中，该方法还包括：

-按照预置的文本抽样规则，从所述目标文本中选取优选文本；

其中，所述步骤b还包括：

-根据所述优选文本，获得与所述优选文本相对应的统计信息。

5.根据权利要求4所述的方法，其中，所述文本抽样规则基于以下至少任一项来从所述目标文本中选取所述优选文本：

-选取所述目标文本中的若干行文本；

-选取所述目标文本的各行中具有相同列数的文字组成的列文本。

6.根据权利要求1至5中任一项所述的方法，其中，该方法还包括：

X对所述目标文本进行预处理，获得预处理文本；

其中，所述步骤b还包括：

-根据所述预处理文本，获得与所述预处理文本相对应的统计信息。

7.根据权利要求6所述的方法，其中，所述预处理操作包括以下至少任一项：

-滤除所述目标文本中的特定字符；

-将所述目标文本中的异型文字转化为正常文字。

8.根据权利要求7所述的方法，其中，所述预处理操作包括将所述目标文本中的异型文字转化为正常文字；其中，所述步骤X还包括：

-将所述目标文本在异型文字库进行匹配映射，以使所述目标文本中的异型文字转化为正常文字。

9.根据权利要求7或8所述的方法，其中，所述异型文字包括以下至少任一项：

-火星文；

-菊花文。

10.根据权利要求1至9中任一项所述的方法，其中，所述步骤a还包括：

-获取用户通过用户设备提交的待识别的目标文本；

其中，该方法还包括：

-将所述目标文本的识别结果提供给所述用户设备。

11.一种用于识别失序文本的设备，该设备包括：

文本获取装置，用于获取待识别的目标文本；

统计信息获取装置，用于根据所述目标文本，获得与所述目标文本相对应的统计信息；

识别装置，用于根据所述统计信息，识别所述目标文本是否为失序文本。

12.根据权利要求11所述的设备，其中，所述统计信息获取装置还包括：

分词处理单元，用于对所述目标文本进行分词处理，以获得与所述目标文本相对应的分词处理结果；

分布信息获取单元，用于对所述分词处理结果进行统计分析，以获得与所述目标文本相对应的单字分词或多字分词的统计分布信息；

其中，所述识别装置还用于将所述统计分布信息与预设的参考分布信息进行比较，以识别所述目标文本是否为失序文本。

13.根据权利要求12所述的设备，其中，所述参考分布信息包括以下至少任一项：

-基于自然语言的标准分布信息；

-与所述目标文本所对应的应用相关的分布信息。

14.根据权利要求11至13中任一项所述的设备，其中，该设备还包括：

选取装置，用于按照预置的文本抽样规则，从所述目标文本中选取优选文本；

其中，所述统计信息获取装置还用于根据所述优选文本，获得与所述优选文本相对应的统计信息。