[发明专利]网页结构变更检测方法、装置及计算机可读存储介质

说明书

本发明涉及UI设计技术领域，揭露了一种网页结构变更检测方法，该方法包括：按照分层配置的方式，对目标网站的网页结构进行分层，并针对分层得到的每层网页结构进行相应的配置；按照预设周期，提取分层配置后的网页数据，并对提取的所述网页数据进行数据处理；利用抽样数据比较法，将经过数据处理后的已提取的本次网页数据，与提取本次网页数据之前、相邻的前一次针对相同位置处提取的上次网页数据，进行数据对比；根据所述本次网页数据与上次网页数据的比较结果，判断所述网页结构是否发生变化。本发明还提出一种网页结构变更检测装置以及一种计算机可读存储介质。本发明实现了一种采用抽样数据比较的方法主动检测网页结构是否发生变化的网页结构变更主动探测技术。

技术领域

本发明涉及计算机技术领域，尤其涉及一种网页结构变更检测方法、装置及计算机可读存储介质。

背景技术

随着互联网技术的飞速发展，人们使用网页来获取信息的方式也基本得以普及。网页内容的布局会直接影响该网页页面的用户体验以及相关性，且在一定程度上影响网站的整体结构以及页面被收录的数量；而网页结构实际上就是对导航栏、栏目以及正文内容这三大页面基本组成元素所进行的组织和布局。

通常情况下，网页结构都会根据网页的内容进行调整，不同的网页内容决定不同的网页结构；当目标网站对应的网页内容发生变化时，其网页结构通常也会跟着进行调整。若目标网站的网页结构发生了改变，则数据抓取系统(即爬虫系统)在运行时，将无法抓取到正确的数据，或者数据抓取系统直接发生异常，从而被动地感知到网页结构已经发生了改变。这种被动感知网页结构发生改变后再采取相应的措施，通常会耽误较长的时间。因此，如何主动检测网页结构是否发生变化以便提前采取相应的应对措施，成为目前亟待解决的问题之一。

发明内容

本发明提供一种网页结构变更检测方法、装置及计算机可读存储介质，旨在采用抽样数据比较的方法主动检测网页结构是否发生变化。

为实现上述目的，本发明提供了一种网页结构变更检测方法，该方法包括：

按照分层配置的方式，对目标网站的网页结构进行分层，并针对分层得到的每层网页结构进行相应的配置；

按照预设周期，提取分层配置后的网页数据，并对提取的所述网页数据进行数据处理；

利用抽样数据比较法，将经过数据处理后的已提取的本次网页数据，与提取本次网页数据之前、相邻的前一次针对相同位置处提取的上次网页数据，进行数据对比；

根据所述本次网页数据与上次网页数据的比较结果，判断所述网页结构是否发生变化。

可选地，所述按照分层配置的方式，对目标网站的网页结构进行分层，并针对分层得到的每层网页结构进行相应的配置，包括：

针对待检测目标网站的网页结构，将所述网页结构分成两层，得到第一层网页结构对应的模块，以及所述模块对应的第二层网页结构中的网页样例；

对第一层网页结构对应的各个模块分别配置需要探测的XML路径语言，对第二层网页结构，基于所述模块对应的网页样例配置所述模块对应的实际网页URL地址。

可选地，所述按照预设周期，提取分层配置后的网页数据，并对提取的所述网页数据进行数据处理，包括：

按照预设周期，根据配置的网页URL地址，提取分层后每个所述模块包含的网页样例对应的网页片段内容；

按照预设算法，对获取的所述网页片段内容进行数据处理，得到数据处理后所述网页片段内容对应的校验值。

可选地，所述利用抽样数据比较法，将经过数据处理后的已提取的本次网页数据，与提取本次网页数据之前、相邻的前一次针对相同位置处提取的上次网页数据，进行数据对比，包括：