[发明专利]网站分类方法、装置、计算机设备及存储介质

说明书

本发明公开了一种网站分类方法、装置、计算机设备及存储介质，属于数据分析领域。网站分类方法通过采用标识网站类型的网站简介文本作为训练样本，对初始分类模型进行训练，获取文本分类模型，极大的减少了训练过程中占用的存储量，提高了训练的速度；采用文本分类模型对待分类网站文本进行分类，以得到待分类网站文本的类别，从而实现基于网站简介文本可快速准确的识别网站类型的目的。

技术领域

本发明涉及数据分析领域，尤其涉及网站分类方法、装置、计算机设备及存储介质。

背景技术

互联网网站天然存在各种有价值的信息，但当前互联网技术发展迅猛，每天都有大量旧网站消失、新网站出现。面对如此庞大的日新月异的网站数量和网站种类，如何高效准确的筛选出特定类别的网站是挖掘网站信息的重要前提之一。

目前网站分类的方法很多，大致可以分为三种情况：人工标注网站类别，人工成本高、效率低；人工维护网站类别以及相应关键字的字典，使用规则进行网站分类，需要耗费大量的人力去整理维护字典，准确率不高；利用机器学习的方法对网站数据进行分类，虽然大大释放了人力，当无法保证分类的准确率。

发明内容

针对现有网站分类方法准确低的问题，现提供一种旨在提高网站分类准确率的网站分类方法、装置、计算机设备及存储介质。

为实现上述目的，本发明提供一种网站分类方法，包括：

采用训练样本集合对初始分类模型进行训练，获取文本分类模型；

其中，所述训练样本集合包括至少一个样本文本，所述样本文本为标识网站类型的网站简介文本；

获取待分类网站文本；

采用所述文本分类模型对所述待分类网站文本进行分类，以获取所述待分类网站文本的类别。

优选的，所述初始分类模型包括第一LightGBM模型和第一Bi-LSTM模型，所述文本分类模型包括第二LightGBM模型和第二Bi-LSTM模型；

所述采用训练样本集合对初始分类模型进行训练，获取文本分类模型，包括：

采用所述训练样本集合对所述第一LightGBM模型和所述第一Bi-LSTM模型进行训练，获取所述第二LightGBM模型和所述第二Bi-LSTM模型。

优选的，所述采用所述训练样本集合对所述第一LightGBM模型和所述第一Bi-LSTM模型进行训练，获取所述第二LightGBM模型和所述第二Bi-LSTM模型，包括：

将所述训练样本集合中的至少一个所述样本文本输入所述第一LightGBM模型，获取每个所述样本文本的第一分类向量；

将所述训练样本集合的至少一个所述样本文本输入所述第一Bi-LSTM模型，获取每个所述样本文本的第二分类向量；

分别将同一所述样本文本的所述第一分类向量和所述第二分类向量进行加权求和，以得到所述样本文本的训练分类；

将每一个所述样本文本的所述训练分类与所述样本文本的网站类型标识进行匹配；

判断所有所述样本文本的所述训练分类的匹配度是否大于预设阈值，若否，更新所述第一LightGBM模型的参数值，以及所述第一Bi-LSTM模型的参数值，直至完成对所述第一LightGBM模型和所述第一Bi-LSTM模型的训练，获取所述第二LightGBM模型和所述第二Bi-LSTM模型。

优选的，所述将所述训练样本集合中的至少一个所述样本文本输入所述第一LightGBM模型，获取每个所述样本文本的第一分类向量，包括：

对所述样本文本进行预处理，获取所述样本文本中的所有分词；