[发明专利]网页数据定向抓取方法

摘要

本发明提供了一种网页数据定向抓取方法，该方法利用待抓取的网页数据在网页文件中呈现的数据结构特征，对网页文件进行源代码语法规则分析，再通过正则表达式构建具有数据结构特征的数据匹配模型，对网页文件源代码进行数据匹配，并从中匹配的部分源代码提取出需要抓取的网页数据，解决了网页数据的定向抓取问题；本发明方法采用正则表达式作为匹配工具，对本领域技术人员而言具有很强的可操作性，有利于本发明方法的普及应用；针对一些数据结构特征较为复杂、提取难度较高的网页数据，本发明还提出了一种通过多级定位逐级提取待抓取的网页数据的定向抓取方案，体现了本发明方法具有较强适应能力，应用范围广泛。

主权项

网页数据定向抓取方法，其特征在于，包括以下步骤：1）根据待抓取的网页数据在网页文件中具有的数据结构特征以及网页文件的源代码语法规则，编译由正则表达式构建的数据匹配模型；2）根据URL地址获取包含待抓取网页数据的网页文件，解析所述网页文件的源代码；3）用所述数据匹配模型对所述网页文件的源代码进行数据匹配，依次获取相匹配的部分源代码；4）从所述相匹配的部分源代码中屏蔽数据结构特征部分，提取出待抓取的网页数据；5）对提取出的网页数据进行存储处理。