[发明专利]一种网站数据采集方法及装置

摘要

本发明实施例提供了一种网站数据采集方法及装置，其中，数据采集方法包括获取欲采集网站的部分网页数据，部分网页数据至少包括欲采集网站的图片数据、文字数据、音频数据和视频数据；通过部分网页数据，判断本地数据库中是否存储有与部分网页数据对应的采集规则；如果有存储，调取本地数据库中的采集规则；如果没有存储，根据部分网页数据中的数据内容，生成与部分网页数据对应的采集规则；存储采集规则至本地数据库；根据采集规则生成数据采集脚本程序；通过数据采集脚本程序分布式采集欲采集网站的全部网页数据。本发明实施例提供的网站数据采集方法及装置无需在每次采集数据前都编写与欲采集数据对应的正则规则，提高网页数据采集效率。

主权项

一种网站数据采集方法，其特征在于，所述方法包括：获取欲采集网站的部分网页数据，所述部分网页数据至少包括：所述欲采集网站的图片数据、文字数据、音频数据和视频数据；通过所述部分网页数据，判断本地数据库中是否存储有与所述部分网页数据对应的采集规则；如果有存储，调取所述本地数据库中的采集规则；如果没有存储，根据所述部分网页数据中的数据内容，生成与所述部分网页数据对应的采集规则；存储所述采集规则至所述本地数据库；根据所述采集规则，生成数据采集脚本程序；通过所述数据采集脚本程序，分布式采集所述欲采集网站的全部网页数据。