[发明专利]一种基于fasttext的垃圾信息识别方法

说明书

本发明公开了一种基于fasttext的垃圾信息识别方法，本发明涉及自然语言处理和机器学习领域，结合TF‑IDF算法和fasttext算法，形成新的TF‑fasttext算法提供了对垃圾信息识别的效率。本发明对传统的fasttext算法进行了三个方面的优化。首先将TF‑IDF算法进行改进，将同类文本和不同文本之间的关系考虑进去，引入参数类频，来代表特征词在某类中出现的次数。其次将改进后的TF‑IDF算法与n‑gram模型结合，形成新的TF‑IDF‑N算法对n‑gram操作后的词进行特征筛选，根据特征词权重保留高区分度的词，去掉低区分度的词。从而消减了fasttext模型的噪声数据，保留更具代表性的特征词序列。最后在fasttext算法的输出层用层次softmax函数提升了模型判断的精度，而且缩短了样本训练的时间。

技术领域

本发明涉及自然语言处理和机器学习领域，具体涉及对垃圾信息的一种识别方法。

背景技术

电子产品再当代扮演着不可替代的角色，垃圾信息例如垃圾邮件、垃圾短信等严重影响了我们的工作和生活。垃圾信息分类既可以阻断无用信息传播，提高工作效率，也可以拦截有害信息降低潜在危险。以往众多学者提出基于传统机器学习的垃圾信息分类方法，存在人工筛选特征工程难度较大、训练时间较长等缺陷。

近年来，深度学习在自然语言处理领域取得了令人瞩目的成就。Fasttext是facebook开源的一个词向量与文本分类工具。提供简单而高效的文本分类和表征学习的方法，性能比肩深度学习而且速度更快。它结合了自然语言处理和机器学习中最成功的理念。这些包括了使用词袋以及n-gram表征语句，还有使用子词(subword)信息，并通过隐藏表征在类别间共享信息。但是经过对fasttext算法的深入研究后，发现使用fasttext算法过滤垃圾信息，在输入阶段进行n-gram处理词序列时，会产生许多文本区分度较低的无意义的高频词。这些词严重影响了分类的效率，直接将这些词作为权重较高的特征词进行分类无法区分垃圾信息和正常信息。TF-IDF算法可以说是一种统计算法，用一个关键词评估在一篇文章或一份文件中的重要程度，关键词的重要性随着关键词出现频率的增加而增加。

本发明将TF-IDF算法与n-gram模型结合，形成TF-IDF-N算法对n-gram操作后的词进行特征筛选，根据特征词权重保留高区分度的词，去掉低区分度的词。从而消减了fasttext模型的噪声数据，保留更具代表性的特征词序列。由此提出了TF-fasttext算法来进行垃圾信息的识别。

发明内容

为了解决垃圾信息识别效率的问题，本发明提出了一种基于fasttext的识别技术。该技术基于TF-IDF算法和fasttext算法，并对此进行改进，形成新的TF-fasttext算法来提高垃圾信息识别的效率。

本发明所采用的技术方案为：

步骤1：通过n-gram处理信息文本；

步骤2：使用Word-Embedding将文本单词转化为词向量；

步骤3：根据改进的TF-IDF-N算法计算每个词向量权重，然后筛选出关键的特征词向量；

步骤4：将筛选出的关键特征词向量送入隐藏层进行向量叠加平均表示；

步骤5：使用softmax函数计算信息类型预测值；

与现有技术相比，本发明的优点：

(1)相比传统的fasttext算法，具有更高的准确性。

(2)对于大量的信息识别，花费的时间成本较低。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本具体实施方式中，针对垃圾信息的识别方法包括下述处理步骤：