[发明专利]一种基于fasttext的垃圾信息识别方法

权利要求书

1.一种基于fasttext的垃圾信息识别方法，其特征在于，包括下列步骤：

步骤1：通过n-gram处理信息文本；

步骤2：使用Word-Embedding将文本单词转化为词向量；

步骤3：根据改进的TF-IDF-N算法计算每个词向量权重，然后筛选出关键的特征词向量；

步骤4：将筛选出的关键特征词向量送入隐藏层进行向量叠加平均表示；

步骤5：使用softmax函数计算信息类型预测值。

2.如权利要求1所述方法，其特征在于，步骤3中将TF-IDF算法进行改进，将同类文本和不同文本之间的关系考虑进去，引入参数类频，来代表特征词在某类中出现的次数。

3.如权利要求1所述方法，其特征在于，步骤3中将改进后的TF-IDF算法与n-gram模型结合，形成新的TF-IDF-N算法对n-gram操作后的词进行特征筛选，根据特征词权重保留高区分度的词，去掉低区分度的词。从而消减了fasttext模型的噪声数据，保留更具代表性的特征词序列。

4.如权利要求1所述方法，其特征在于，步骤5中使用分层softmax函数作为loss函数的参数训练，不仅能提升模型判断的精度，而且可以缩短样本训练时间。