[发明专利]基于LGBM模型和BTM模型的垃圾语料筛选方法、系统及设备

权利要求书

1.一种基于LGBM模型和BTM模型的垃圾语料筛选方法，其特征在于，包括如下步骤：

抽取步骤：对商品进行评论抽取，获取评论数据；

挖掘步骤：对所述评论数据使用BTM模型进行主题挖掘，根据挖掘结果总结出垃圾评论高频词；

训练步骤：基于所述评论数据和所述垃圾评论高频词训练LGBM模型；

筛选步骤：使用训练好的所述LGBM模型筛选出垃圾评论语料。

2.如权利要求1所述的基于LGBM模型和BTM模型的垃圾语料筛选方法，其特征在于，所述挖掘步骤前还包括使用所述BTM模型将所述评论数据分为K类，所述K为BTM模型对超参数。

3.如权利要求1所述的基于LGBM模型和BTM模型的垃圾语料筛选方法，其特征在于，所述训练步骤具体包括以下步骤：

数据分类步骤：将所述评论数据分为训练集、验证集、测试集；

特征提取步骤：对所述训练集进行特征提取，得到垃圾语料特征；

模型训练步骤：基于所述垃圾语料特征对所述LGBM模型进行特征训练。

4.如权利要求3所述的基于LGBM模型和BTM模型的垃圾语料筛选方法，其特征在于，所述特征提取步骤中垃圾语料特征包括文本特征、所述垃圾评论高频词的个数、号码个数、敏感词个数。

5.如权利要求1所述的基于LGBM模型和BTM模型的垃圾语料筛选方法，其特征在于，所述垃圾评论语料具有所述垃圾语料特征中的任一特征。

6.一种基于LGBM模型和BTM模型的垃圾语料筛选系统，其特征在于，包括：

抽取模块，对商品进行评论抽取，获取评论数据；

挖掘模块，对所述评论数据使用BTM模型进行主题挖掘，根据挖掘结果总结出垃圾评论高频词；

训练模块，基于所述评论数据和所述垃圾评论高频词训练LGBM模型；

筛选模块，使用训练好的所述LGBM模型筛选垃圾评论语料。

7.如权利要求6所述的基于LGBM模型和BTM模型的垃圾语料筛选系统，其特征在于，还包括评论分类模块，使用BTM模型将所述评论数据分为K类，所述K为BTM模型对超参数。

8.如权利要求6所述的基于LGBM模型和BTM模型的垃圾语料筛选系统，其特征在于，所述训练模块包括：

数据分类单元，将所述评论数据分为训练集、验证集、测试集；

特征提取单元，对所述训练集进行特征提取，得到垃圾语料特征；

模型训练单元，基于所述垃圾语料特征对所述LGBM模型进行特征训练。

9.如权利要求8所述的基于LGBM模型和BTM模型的垃圾语料筛选系统，其特征在于，所述特征提取单元中垃圾语料特征包括文本特征、所述垃圾评论高频词的个数、号码个数、敏感词个数。

10.一种设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的基于LGBM模型和BTM模型的垃圾语料筛选方法。