[发明专利]文档中无效词的识别方法及装置

说明书

本申请涉及计算机技术领域，尤其涉及一种文档中无效词的识别方法及装置，在一种文档中无效词的识别方法中，首先对识别无效词的文档进行预处理，得到与该文档对应的词语集合；然后根据预设的语料库，确定词语集合中各个词语的平均位置以及逆文档频率；之后根各个词语的平均位置、逆文档频率以及相关词语的逆文档频率，确定各个词语的目标权重值；最后根据各个词语的目标权重值，识别第一文档中的无效词。也即本申请是根据词语的平均位置以及逆文档频率，来从第一文档中识别无效词，由此，可以提高无效词识别的效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种文档中无效词的识别方法及装置。

背景技术

传统技术中，一般通过如下两种方法来识别文档中的无效词，此处，无效词是指与当前文档内容不相关的词语，相应地，与当前文档的内容相关的词语可以称为关键词。

第一种方法是，基于预设的规则，来识别文档中的无效词，如将“_”、“-”或者其它预设字符之前或者之后的词语识别为无效词，而事实上，文档内容的表现形式变化多端，在部分文档中，很有可能“_”、“-”或者其它特殊字符之前或者之后均包括了关键词，而根据上述方法，直接将“_”、“-”或者其它特殊字符之前或者之后的词语识别为无效词时，会导致关键词被识别为无效词的问题，也即根据第一种方法识别的无效词往往是不准确的。

第二种方法是，根据TF-IDF的方法，来识别文档中的无效词。具体地，首先计算文档中各个词语的词频(term frequency，TF)和逆文档频率(inverse document frequency，IDF)，其中，词频是指某一词语在某一文档中出现的次数，而IDF可以根据公式1计算：

其中，IDF(w)为词语w的逆文档频率，N为预设的语料库中包含词语w的文档的个数，DF(w)为词语w的词频。IDF描述的是词语在文档中出现的广度，IDF越大，说明词语出现的越少，只在几篇文档中出现，IDF越小，说明词语出现的越频繁，极端情况下，一个词语在所有文档中都出现了，那么这个词语的IDF为0，说明词语没有区分价值，如“的”、“是”这类停用词在大部分文档中都会出现，因此这类词语的IDF值很小。

在计算得到文档中各个词语的TF和IDF之后，根据计算得到的TF和IDF，来对各个词语进行打分(如，TF*IDF)；最后根据各个词语的打分结果，来从文档中识别无效词。然而当部分文档只包括了较少的词语时，大部分的词语在文档中只出现了一次，则上述TF*IDF也相当于IDF；而根据上述内容可知，根据IDF只能从文档中识别停用词，而并不能识别无效词。

发明内容

本申请描述了一种文档中无效词的识别方法及装置，可以有效地识别文档中的无效词。

第一方面，提供了一种文档中无效词的识别方法，该方法包括：

对第一文档进行预处理，得到与所述第一文档对应的词语集合，其中，所述第一文档为预设的语料库中的任一文档；

根据所述预设的语料库，确定所述词语集合中各个词语的平均位置以及逆文档频率；

对所述词语集合中的每个词语，根据所述词语的平均位置、逆文档频率以及相关词语的逆文档频率，确定所述词语的目标权重值；

根据所述各个词语的目标权重值，识别所述第一文档中的无效词。

第二方面，提供了一种文档中无效词的识别装置，该装置包括：

预处理单元，用于对第一文档进行预处理，得到与所述第一文档对应的词语集合，其中，所述第一文档为预设的语料库中的任一文档；

确定单元，用于根据所述预设的语料库，确定所述词语集合中各个词语的平均位置以及逆文档频率；