[发明专利]一种网站聚类方法、装置、设备及存储介质

说明书

本申请公开了一种网站聚类方法、装置、设备及存储介质。该方法包括：获取待聚类网页包含的所有属性值；利用自然语言处理的词嵌入技术，按照目标维度将每个所述属性值转换为低维稠密向量；基于所述低维稠密向量得到每个待聚类网站对应的网页向量；计算不同待聚类网页的网页向量之间的相似度，并根据所述相似度对所述待聚类网页进行聚类以得到不同类型的网页簇。基于所有属性值的相似度比较提高了聚类的准确性，并结合自然语言处理和聚类算法来寻找同类网站，可实现批量准确寻找相似网站，将相同模板网站进行快速归类，为侦查人员寻找已知黑灰产网站的同类网站提供更多线索。

技术领域

本发明涉及计算机领域，特别涉及一种网站聚类方法、装置、设备及存储介质。

背景技术

目前，随着互联网的普及，网络犯罪愈加频繁，借助网络衍生的黑灰产案件也层出不穷，在侦查打击方面，寻找黑灰产网站是常用的侦查手段。然而，应对变化多端的各类网站，侦查人员需要更加快速和准确地挖掘潜在黑灰产网站，降低群众受害风险。而黑灰产网站为了快速部署，一般采用模板发布，因此发现一个黑灰产网站后，可以通过寻找同个模板衍生的站点，从而发现更多潜在的黑灰产网站。因此，现有技术中通过人工提取规则寻找相似网站，但对于大数据量耗时费力，并且有些网页难以提取强规则。为克服上述技术问题，现有技术中还基于结构相似性进行网站聚类，但通过网页结构相似性寻找相似网站，对于有些DOM(Document Object Model，文档对象模型)结构简单的网页，误差较大，降低了网站聚类的准确性。

发明内容

有鉴于此，本发明的目的在于提供一种网站聚类方法、装置、设备及介质，能够提高网站聚类的效率和准确性。其具体方案如下：

第一方面，本申请公开了一种网站聚类方法，包括：

获取待聚类网页包含的所有属性值；

利用自然语言处理的词嵌入技术，按照目标维度将每个所述属性值转换为低维稠密向量；

基于所述低维稠密向量得到每个待聚类网站对应的网页向量；

计算不同待聚类网页的网页向量之间的相似度，并根据所述相似度对所述待聚类网页进行聚类以得到不同类型的网页簇。

可选的，所述获取待聚类网页包含的所有属性值，包括：

获取待聚类网页的HTML源码数据；

根据目标字符串利用正则表达式，从所述HTML源码数据中提取得到所述待聚类网页包含的所有属性值。

可选的，所述基于所述低维稠密向量得到每个待聚类网站对应的网页向量，包括：

对单个所述待聚类网页对应的所有所述低维稠密向量进行加权平均计算，以得到相应的所述待聚类网页对应的网页向量。

可选的，所述对单个所述待聚类网页对应的所有所述低维稠密向量进行加权平均计算，包括：

统计所述待聚类网页内每个所述属性值对应的词频，并根据所述词频确定相应的所述低维稠密向量对应的权重；

根据所述低维稠密向量对应的权重，对所述待聚类网页对应的所有所述低维稠密向量进行加权平均计算。

可选的，所述计算不同待聚类网页的网页向量之间的相似度，包括：

利用目标距离算法计算不同待聚类网页的网页向量之间的距离，以得到不同待聚类网页的网页向量之间的相似度；所述目标距离算法包括余弦距离算法和欧式距离算法。

第二方面，本申请公开了一种网站聚类装置，包括：

属性值获取模块，用于获取待聚类网页包含的所有属性值；

向量化模块，用于利用自然语言处理的词嵌入技术，按照目标维度将每个所述属性值转换为低维稠密向量；