[发明专利]一种网站聚类方法、装置、设备及存储介质

权利要求书

1.一种网站聚类方法，其特征在于，包括：

获取待聚类网页包含的所有属性值；

利用自然语言处理的词嵌入技术，按照目标维度将每个所述属性值转换为低维稠密向量；

基于所述低维稠密向量得到每个待聚类网站对应的网页向量；

计算不同待聚类网页的网页向量之间的相似度，并根据所述相似度对所述待聚类网页进行聚类以得到不同类型的网页簇。

2.根据权利要求1所述的网站聚类方法，其特征在于，所述获取待聚类网页包含的所有属性值，包括：

获取待聚类网页的HTML源码数据；

根据目标字符串利用正则表达式，从所述HTML源码数据中提取得到所述待聚类网页包含的所有属性值。

3.根据权利要求1所述的网站聚类方法，其特征在于，所述基于所述低维稠密向量得到每个待聚类网站对应的网页向量，包括：

对单个所述待聚类网页对应的所有所述低维稠密向量进行加权平均计算，以得到相应的所述待聚类网页对应的网页向量。

4.根据权利要求3所述的网站聚类方法，其特征在于，所述对单个所述待聚类网页对应的所有所述低维稠密向量进行加权平均计算，包括：

统计所述待聚类网页内每个所述属性值对应的词频，并根据所述词频确定相应的所述低维稠密向量对应的权重；

根据所述低维稠密向量对应的权重，对所述待聚类网页对应的所有所述低维稠密向量进行加权平均计算。

5.根据权利要求1所述的网站聚类方法，其特征在于，所述计算不同待聚类网页的网页向量之间的相似度，包括：

利用目标距离算法计算不同待聚类网页的网页向量之间的距离，以得到不同待聚类网页的网页向量之间的相似度；所述目标距离算法包括余弦距离算法和欧式距离算法。

6.一种网站聚类装置，其特征在于，包括：

属性值获取模块，用于获取待聚类网页包含的所有属性值；

向量化模块，用于利用自然语言处理的词嵌入技术，按照目标维度将每个所述属性值转换为低维稠密向量；

网页向量确定模块，用于基于所述低维稠密向量得到每个待聚类网站对应的网页向量；

聚类模块，用于计算不同待聚类网页的网页向量之间的相似度，并根据所述相似度对所述待聚类网页进行聚类以得到不同类型的网页簇。

7.根据权利要求6所述的网站聚类装置，其特征在于，所述属性值获取模块，包括：

源码数据获取单元，用于获取待聚类网页的HTML源码数据；

属性值提取单元，用于根据目标字符串利用正则表达式，从所述HTML源码数据中提取得到所述待聚类网页包含的所有属性值。

8.根据权利要求6所述的网站聚类装置，其特征在于，所述网页向量确定模块，包括：

加权平均单元，用于对单个所述待聚类网页对应的所有所述低维稠密向量进行加权平均计算，以得到相应的所述待聚类网页对应的网页向量。

9.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至5任一项所述的网站聚类方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至5任一项所述的网站聚类方法。