[发明专利]网站数据采集方法及装置

摘要

本发明提供了一种网站数据采集方法及装置。该方法包括：预先在网络爬虫程序中设置用于登录待采集网站的身份信息，该身份信息包括登录账号和登录密码，将身份信息写入该网站登录页面的登录表单中，对该登录表单进行加密发送给该网站对应的服务器，以使服务器验证该身份信息的合法性，接收服务器发送的用于访问该网站的标识码，该标识码是由服务器验证出身份信息合法后发送的，在使用该标识码访问该网站各网页的过程中，采用网络爬虫程序对该网站进行数据采集。本发明在网络爬虫程序中预先存储用于登录待采集的网站的身份信息，通过该身份信息从服务器处获取标识码，然后基于该标识码网络爬虫程序访问网站的各网页，从而可实现对网站进行数据采集。

主权项

一种网站数据采集方法，其特征在于，包括：预先在网络爬虫程序中设置用于登录待采集网站的身份信息；所述身份信息包括登录账号和登录密码；将所述身份信息写入所述网站登录页面的登录表单中；对所述登录表单进行加密发送给所述网站对应的服务器，以使所述服务器验证所述身份信息的合法性；接收所述服务器发送的用于访问所述网站的标识码；所述标识码是由所述服务器验证出所述身份信息合法后发送的；在使用所述标识码访问所述网站各网页的过程中，采用所述网络爬虫程序对所述网站进行数据采集。