[发明专利]网页路径导航方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种网页路径导航方法、装置、电子设备及存储介质，其中，网页路径导航方法，包括：接收用户的输入请求；基于输入请求，从预先得到的访问任务集合中查询对应于输入请求的至少一个访问任务，至少一个访问任务包括由起始网页到目标网页的网页导航顺序；获取至少一个访问任务的URL正则模式的频繁项集，频繁项集包括由起始网页到目标网页的多个网页导航顺序对应的各访问任务的URL正则模式；根据频繁项集，确定目标网页的导航路径。本发明的网页路径导航方法，根据关联规则挖掘算法，可以自动、智能地分析出爬虫的路径导航，进而，可以降低网页路径的遍历次数，提高网页中知识抽取的效率。

技术领域

本发明涉及互联网技术领域，具体涉及一种网页路径导航方法、装置、电子设备及存储介质。

背景技术

目前，Web网页标准语言HTML无法适应知识表示的需求，通常利用标准语言规范，RDF、RDFS和OWL嵌入HTML的方式进行网页的知识表示。为了便于知识的共享，需要从网页(如语义网)中进行知识抽取并形成知识图谱。可以通过爬虫技术从互联网中获取知识，但是，爬虫技术的应用通常需要明确网页地址。而网页地址有时会不定期更新，导致爬虫技术失效。而虽然有一些基于某一主题的深度优先爬虫，通过遍历的方式进行网页地址的确定，但是，采取穷举链接的方式，浪费大量与主题无关的URL的执行耗时。

发明内容

基于现有技术中存在的问题，本发明实施例中提出一种网页路径导航方法、装置、电子设备及存储介质。

第一方面，本发明实施例中提供了一种网页路径导航方法，包括：

接收用户的输入请求；

基于所述输入请求，从预先得到的访问任务集合中查询对应于所述输入请求的至少一个访问任务，其中，所述至少一个访问任务包括由起始网页到目标网页的网页导航顺序；

获取所述至少一个访问任务的URL正则模式的频繁项集，其中，所述频繁项集包括由所述起始网页到所述目标网页的多个网页导航顺序对应的各访问任务的URL正则模式；

根据所述频繁项集，确定所述目标网页的导航路径。

进一步地，还包括：获得所述访问任务集合的步骤，具体包括：

获取互联网访问数据样本；

对所述互联网访问数据样本进行时序分解，以得到多个访问任务；

根据所述多个访问任务得到所述访问任务集合。

进一步地，所述获取所述至少一个访问任务的URL正则模式的频繁项集，包括：

获取访问任务集合中的每个访问任务的URL正则模式，组成事务样本集；

应用分布式关联规则，从事务样本集中查找至少一个访问任务的URL正则模式的频繁项集。

进一步地，在组成事务样本集之前，还包括：

对访问任务集合中的每个访问任务的URL正则模式进行验证，并将验证通过后的URL正则模式加入所述事务样本集。

进一步地，所述根据所述频繁项集，确定所述目标网页的导航路径，包括：

获取所述频繁项集中各频繁项的路径；

根据所述频繁项集中路径最短的频繁项得到所述目标网页的导航路径。

进一步地，所述获取互联网访问数据样本，包括：

从公网IP池中获取代理IP；

拦截并转发用户与目标网页之间的请求和响应信息；

根据所述请求和响应信息得到所述互联网访问数据样本。