[发明专利]文本信息的处理方法和装置

摘要

本发明提供了一种文本信息的处理方法和装置。所述方法包括：对文本信息进行分词处理以得到切分的文本；提取切分的文本匹配的词以及切分的文本在所述文本信息中的偏移量；判断是否存在未匹配的切分的文本，若为是，则组合所述相互连续的切分的文本，并更新所述组合的文本的出现频度；根据所述出现频度获取所述组合的文本在所述文本信息中的偏移量；根据所述偏移量将所述切合的文本匹配的词和组合的文本进行组合排列得到有效文本信息。所述装置包括了分词处理模块、偏移量提取模块未匹配处理模块、组合文本处理模块和组合排列模块。采用本发明能避免文本信息的噪音去除中避免了非关键字的遗忘，屏蔽了噪音在文本信息中对文本完整性和语义上的干扰。

主权项

1.一种文本信息的处理方法，包括如下步骤：对文本信息进行分词处理以得到切分的文本；提取所述切分的文本匹配的词、以及与所述匹配的词对应的切分的文本在所述文本信息中的偏移量；提取得到的所述切分的文本匹配的词是所述切分的文本所对应的正确词；判断是否存在未匹配的切分的文本，若为是，则组合相互连续的所述未匹配的切分的文本，并更新组合的文本的出现频度；根据所述出现频度获取所述组合的文本在所述文本信息中的偏移量；根据所述偏移量将所述切分的文本匹配的词和组合的文本进行组合排列得到有效文本信息。