[发明专利]网站的导航栏信息提取方法、装置、电子设备及存储介质

说明书

本发明涉及文本提取技术领域，提出一种网站的导航栏信息提取方法、装置、电子设备及存储介质，方法包括：下载待提取企业网站域名的主页面及任意子页面源代码，获取第一HTML代码解析为第一节点DOM树，获取第二HTML代码解析为第二节点DOM树；剔除第一节点DOM树和第二节点DOM树外链得到第三节点DOM树和第四节点DOM树，使用NAV标签法、A标签密度法、最大公共区域法及关键词链接区块法提取导航栏信息后去重过滤，计算每个节点的节点得分并输出待提取企业的导航栏信息。本发明通过NAV标签法、A标签密度法、最大公共区域法以及关键词链接区块法提取导航栏信息，提高了提取页面中的导航栏信息的准确性及效率。

技术领域

本发明涉及文本提取技术领域，具体涉及一种网站的导航栏信息提取方法、装置、电子设备及存储介质。

背景技术

企业官网为了展示企业文化以及产品、简介、联系方式等信息，通常会将关键信息的链接以导航栏的形式展示在页面顶部或页面左侧，为准确建立一个企业官网的内容索引，需要准确地把导航栏信息提取出来，但因编写网页所使用的HTML语言的自由性以及代码编写不规范等原因让提取导航栏这件事难以实施。

现有技术通过使用NAV标签法，但是该方法需要页面使用HTML5版本且开发者严格遵循开发手册规范才能精准提取到导航栏节点信息。因此，对于非HTML5的页面，或者代码编写不规范等，提取的导航栏节点信息的准确率不高，甚至无法提取。

发明内容

鉴于以上内容，有必要提出一种网站的导航栏信息提取方法、装置、电子设备及存储介质，能够准确且快速的提取任意页面中的导航栏节点信息。

本发明的第一方面提供一种网站的导航栏信息提取方法，所述方法包括：

下载待提取企业的网站域名对应的主页面源代码以及任意子页面源代码，获取所述主页面源代码中的第一HTML代码并将所述第一HTML代码解析为第一节点DOM树，及获取所述任意子页面源代码中的第二HTML代码，并将所述第二HTML代码解析为第二节点DOM树；

根据所述网站域名及所述第一节点DOM树中的每个节点的导航栏信息中的href属性剔除所述第一节点DOM树中的外链得到第三节点DOM树，根据所述网站域名及所述第二节点DOM树中的每个节点的导航栏信息中的href属性剔除所述第二节点DOM树中的外链得到第四节点DOM树；

使用NAV标签法提取所述第三节点DOM树的导航栏信息得到第一导航栏信息集，使用A标签密度法提取所述第三节点DOM树的导航栏信息得到第二导航栏信息集，使用最大公共区域法提取所述第三节点DOM树和所述第四节点DOM树的导航栏信息得到第三导航栏信息集，使用关键词链接区块法提取所述第三节点DOM树的导航栏信息得到第四导航栏信息集；

将所述第一导航栏信息集、所述第二导航栏信息集、所述第三导航栏信息集及所述第四导航栏信息集合并得到第五导航栏信息集；

对所述第五导航栏信息集中的每个节点的导航栏信息进行去重并过滤，得到第六导航栏信息集；

使用节点评分算法计算所述第六导航栏信息集中每个节点的节点得分；

根据所述每个节点的节点得分对所述第六导航栏信息集中的所有节点进行排序并输出所述待提取企业的导航栏信息。

优选的，所述使用NAV标签法提取所述第三节点DOM树的导航栏信息得到第一导航栏信息集包括：

提取所述第三节点DOM树中的所有节点的导航栏信息中的PATH路径；判断每个PATH路径中是否存在NAV标签；当任意PATH路径中存在所述NAV标签时，提取所述任意PATH路径对应的节点的导航栏信息，合并所有提取的节点的导航栏信息得到第一导航栏信息集；或者