[发明专利]一种网站识别方法、装置、设备及存储介质

权利要求书

1.一种网站识别方法，其特征在于，包括：

获取待识别网站的网页；

获取所述网页的第一文本内容和待识别网页截图；

提取所述待识别网页截图的第二文本内容；

提取所述第一文本内容的第一特征向量和所述第二文本内容的第二特征向量；

将所述第一特征向量输入至第一预设识别模型，得到所述待识别网站的第一网站识别类型；所述第一预设识别模型基于网站类型和网站网页的文本内容的特征向量训练得到；

将所述第二特征向量输入至第二预设识别模型，得到所述待识别网站的第二网站识别类型；所述第二预设识别模型基于网站类型和网站网页的网页截图中的文本内容的特征向量训练得到；

根据所述第一网站识别类型和所述第二网站识别类型，得到所述待识别网站的目标网站识别类型；

所述第二网站识别类型包括第三子网站识别类型、第四子网站识别类型中的至少一个；

所述提取所述第二文本内容的第二特征向量之前，还包括：

对所述第二文本内容进行分词处理，得到所述待识别网页截图的第二词集；

所述提取所述第二文本内容的第二特征向量，包括如下至少一项：

加载预设特征词集；基于所述预设特征词集及所述第二词集生成第二特征词向量；

加载预设特征词袋；基于所述预设特征词袋及所述第二词集生成第二TF-IDF向量；

所述将所述第二特征向量输入至第二预设识别模型，得到所述待识别网站的第二网站识别类型，包括如下至少一项：

将所述第二特征词向量输入第三预设子识别模型，得到所述待识别网站的第三子网站识别类型；所述第三预设子识别模型为基于网站类型和特征词向量训练得到的支持向量机SVM；

将所述第二TF-IDF向量输入至第四预设子识别模型，得到所述待识别网站的第四子网站识别类型；所述第四预设子识别模型为基于网站类型和TF-IDF向量训练得到的SVM。

2.根据权利要求1所述的网站识别方法，其特征在于，所述获取待识别网站的网页之前，还包括：

提取用户上网日志中的网站域名；

确定所述网站域名是否属于预设已识别域名集合；

在所述网站域名不属于所述预设已识别域名集合的情况下，将所述网站域名确定为待识别网站；

所述获取待识别网站的网页，包括：

控制模拟客户端访问所述待识别网站的网页。

3.根据权利要求1所述的方法，其特征在于，所述获取所述网页的第一文本内容，包括：

获取所述网页的超文本标记语言HTML文件；

将所述HTML文件确定为第一文本内容。

4.根据权利要求3所述的方法，其特征在于，所述第一预设识别模型包括第一预设子识别模型、第二预设子识别模型中的至少一个；

所述提取所述第一文本内容的第一特征向量之前，还包括：

对所述HTML文件进行分词处理，得到所述HTML文件的第一词集；

所述提取所述第一文本内容的第一特征向量，包括如下至少一项：

加载预设特征词集；基于所述预设特征词集及所述第一词集生成第一特征词向量；

加载预设特征词袋；基于所述预设特征词袋及所述第一词集生成第一TF-IDF向量；

所述将所述第一特征向量输入至第一预设识别模型，得到所述待识别网站的第一网站识别类型，包括如下至少一项：

将所述第一特征词向量输入至第一预设子识别模型，得到所述待识别网站的第一子网站识别类型；所述第二预设子识别模型为基于网站类型和特征词向量训练得到的SVM；

将所述第一TF-IDF向量输入至第二预设子识别模型，得到所述待识别网站的第二子网站识别类型；所述第二预设子识别模型为基于网站类型和TF-IDF向量训练得到的SVM。

5.根据权利要求4所述的方法，其特征在于，所述对所述HTML文件进行分词处理，得到所述HTML文件的第一词集之前，还包括：

对所述HTML文件进行去HTML标签处理，得到去标签后的HTML文件；

所述对所述HTML文件进行分词处理，得到所述HTML文件的第一词集，包括：

对所述去标签后的HTML文件进行分词处理，得到所述HTML文件的第一词集。