[发明专利]无语义文本的识别方法及装置

说明书

本申请涉及计算机技术领域，尤其涉及一种无语义文本的识别方法及装置，在一种无语义文本的识别方法中，获取待识别文本，并对待识别文本进行预处理。确定预处理后的待识别文本的各个词序列，根据N‑gram语言模型，确定各个词序列的概率分数值。根据各个词序列的概率分数值以及词序列的个数，确定待识别文本的平均概率分数值和/或概率分数标准差值。根据平均概率分数值和/或概率分数标准差值，确定待识别文本的综合分数值。当综合分数值满足预设条件时，将待识别文本识别为无语义文本。由此，可以提高对无语义文本识别的准确性和全面性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种无语义文本的识别方法及装置。

背景技术

传统技术中，主要通过如下两种方法来识别无语义文本：

第一种方法是，通过监督式机器学习的方法，即人工预先搜集一些无语义文本的语义特征，如，变种词、特殊符号等，并针对语料库内的样本进行标记是否为无语义文本，然后利用语料库以及语义特征，训练识别模型，最后由识别模型来识别输入文本是否为无语义文本。然而，在该方法中，若输入文本中包含了未被搜集到的语义特征，或者，若输入文本包含了变形后的语义特征，则不能将该输入文本识别为无语义文本，这影响了无语义文本识别的准确性。此外，该方法通常需要耗费大量人力来对语料库内的样本进行标注，这影响了无语义文本识别的效率。

第二种方法是，计算相似度的方法，即对用户举报或通过其它渠道得到的内容文本进行存档，从而生成样本库，之后通过计算输入文本与样本库内内容文本的相似度，来识别输入文本是否为无语义文本。然而，该方法通常只能识别已经出现的内容文本，无法识别新型的内容文本，在信息日益膨胀的今天，通过人工的方式不可能枚举出所有的内容文本，从而该方法不能对所有的输入文本进行识别，也即第二种方法对无语义文本的识别不全面。

发明内容

本申请描述了一种无语义文本的识别方法及装置，可以提高对无语义文本识别的准确性和全面性。

第一方面，提供了一种无语义文本的识别方法，包括：

获取待识别文本；

对所述待识别文本进行预处理；

确定预处理后的待识别文本的各个词序列；

根据N-gram语言模型，确定所述各个词序列的概率分数值；

根据所述各个词序列的概率分数值以及所述词序列的个数，确定所述待识别文本的平均概率分数值和/或概率分数标准差值；

根据所述平均概率分数值和/或所述概率分数标准差值，确定所述待识别文本的综合分数值；

当所述综合分数值满足预设条件时，将所述待识别文本识别为无语义文本。

第二方面，提供了一种无语义文本的识别装置，包括：

获取单元，用于获取待识别文本；

预处理单元，用于对所述获取单元获取的所述待识别文本进行预处理；

确定单元，用于确定所述预处理单元预处理后的待识别文本的各个词序列；

所述确定单元，还用于根据N-gram语言模型，确定所述各个词序列的概率分数值；

所述确定单元，还用于根据所述各个词序列的概率分数值以及所述词序列的个数，确定所述待识别文本的平均概率分数值和/或概率分数标准差值；

所述确定单元，还用于根据所述平均概率分数值和/或所述概率分数标准差值，确定所述待识别文本的综合分数值；

识别单元，用于当所述确定单元确定的所述综合分数值满足预设条件时，将所述待识别文本识别为无语义文本。