[发明专利]网站的导航栏信息提取方法、装置、电子设备及存储介质

权利要求书

1.一种网站的导航栏信息提取方法，其特征在于，所述网站的导航栏信息提取方法包括：

下载待提取企业的网站域名对应的主页面源代码以及任意子页面源代码，获取所述主页面源代码中的第一HTML代码并将所述第一HTML代码解析为第一节点DOM树，及获取所述任意子页面源代码中的第二HTML代码，并将所述第二HTML代码解析为第二节点DOM树；

根据所述网站域名及所述第一节点DOM树中的每个节点的导航栏信息中的href属性剔除所述第一节点DOM树中的外链得到第三节点DOM树，根据所述网站域名及所述第二节点DOM树中的每个节点的导航栏信息中的href属性剔除所述第二节点DOM树中的外链得到第四节点DOM树；

使用NAV标签法提取所述第三节点DOM树的导航栏信息得到第一导航栏信息集，使用A标签密度法提取所述第三节点DOM树的导航栏信息得到第二导航栏信息集，使用最大公共区域法提取所述第三节点DOM树和所述第四节点DOM树的导航栏信息得到第三导航栏信息集，使用关键词链接区块法提取所述第三节点DOM树的导航栏信息得到第四导航栏信息集；

将所述第一导航栏信息集、所述第二导航栏信息集、所述第三导航栏信息集及所述第四导航栏信息集合并得到第五导航栏信息集；

对所述第五导航栏信息集中的每个节点的导航栏信息进行去重并过滤，得到第六导航栏信息集；

使用节点评分算法计算所述第六导航栏信息集中每个节点的节点得分；

根据所述每个节点的节点得分对所述第六导航栏信息集中的所有节点进行排序并输出所述待提取企业的导航栏信息。

2.如权利要求1所述的网站的导航栏信息提取方法，其特征在于，所述使用NAV标签法提取所述第三节点DOM树的导航栏信息得到第一导航栏信息集包括：

提取所述第三节点DOM树中的所有节点的导航栏信息中的PATH路径；判断每个PATH路径中是否存在NAV标签；当任意PATH路径中存在所述NAV标签时，提取所述任意PATH路径对应的节点的导航栏信息，合并所有提取的节点的导航栏信息得到第一导航栏信息集；或者

提取所述第三节点DOM树中的所有节点的导航栏信息中的CLASS属性；判断每个CLASS属性中是否包含预设的NAV关键词；当任意CLASS属性的中包含有所述预设的NAV关键词时，提取所述任意CLASS属性对应的节点的导航栏信息，合并所有提取的节点的导航栏信息得到第一导航栏信息集。

3.如权利要求1所述的网站的导航栏信息提取方法，其特征在于，所述使用A标签密度法提取所述第三节点DOM树的导航栏信息得到第二导航栏信息集包括：

提取所有节点的导航栏信息中的href属性；

计算每个节点的href属性的字符串长度进行合并得到href属性长度列表；

由零元素将所述href属性长度列表分割为多个子集，其中，每个子集中包含多个连续的非零字符串长度；

累加所述每个子集中的每个节点的href属性的字符串长度得到每个子集的总字符串长度；

提取出总字符串长度最长的子集中的每个节点的PATH路径；

获取所有所述PATH路径的公共前缀满足最长公共前缀对应的节点的导航栏信息进行合并得到第二导航栏信息集。

4.如权利要求1所述的网站的导航栏信息提取方法，其特征在于，所述使用最大公共区域法提取所述第三节点DOM树和所述第四节点DOM树的导航栏信息得到第三导航栏信息集包括：

提取所述第三节点DOM树中每个节点的导航栏信息与所述第四节点DOM树中每个节点的导航栏信息的最大连续公共子集；

提取出所述最大连续公共子集中所有节点的导航栏信息；

将所述所有节点的导航栏信息中存在预设A标签的导航栏信息进行合并得到第三导航栏信息集。