[发明专利]网站数据采集方法及装置

权利要求书

1.一种网站数据采集方法，其特征在于，包括：

预先在网络爬虫程序中设置用于登录待采集网站的身份信息；所述身份信息包括登录账号和登录密码；

将所述身份信息写入所述网站登录页面的登录表单中；

对所述登录表单进行加密发送给所述网站对应的服务器，以使所述服务器验证所述身份信息的合法性；

接收所述服务器发送的用于访问所述网站的标识码；所述标识码是由所述服务器验证出所述身份信息合法后发送的；

在使用所述标识码访问所述网站各网页的过程中，采用所述网络爬虫程序对所述网站进行数据采集。

2.根据权利要求1所述的网站数据采集方法，其特征在于，所述将所述身份信息写入所述网站登录页面的登录表单中之前，还包括：

向所述服务器发送访问请求，以请求打开所述登录页面；

接收所述服务器发送的用于登录所述网站的脚本文件；

从所述脚本文件中获取用于加密的随机码和加密算法。

3.根据权利要求2所述的网站数据采集方法，其特征在于，所述从所述脚本文件中获取用于加密的随机码和加密算法包括：

对所述脚本文件进行解析，得到所述随机码的第一统一资源定位符URL链接和所述加密算法的第二URL链接；

访问所述第一URL链接获取所述随机码，以及访问所述第二URL链接获取所述加密算法。

4.根据权利要求3所述的网站数据采集方法，其特征在于，所述对所述登录表单进行加密发送给网站对应的服务器，以使所述服务器验证所述身份信息的合法性包括：

采用所述随机码和所述加密算法对所述登录表单进行加密；

将加密后的所述登录表单携带在验证请求中发送给所述服务器，以使所述服务器服务器验证所述身份信息是否合法。

5.根据权利要求4所述的网站数据采集方法，其特征在于，所述脚本文件中携带所述服务器接收到所述访问请求的时间戳；

将所述时间戳携带在所述验证请求中发送给所述服务器，以使所述服务器根据所述时间戳和所述服务器的当时时间判断所述登录表单是否超时。

6.一种网站数据采集装置，其特征在于，包括：

预设模块，用于预先在网络爬虫程序中设置用于登录待采集网站的身份信息；所述身份信息包括登录账号和登录密码；

写入模块，用于将所述身份信息写入所述网站登录页面的登录表单中；

加密模块，用于对所述登录表单进行加密并发送给网站对应的服务器，以使所述服务器验证所述身份信息的合法性；

接收模块，用于接收所述服务器发送的用于标识所述用户的标识码，其中所述标识码是由所述服务器验证出所述身份验证合法后发送的；

采集模块，用于在使用所述标识码访问所述网站各网页的过程中，采用所述网络爬虫程序对所述网站进行数据采集。

7.根据权利要求6所述的网站数据采集装置，其特征在于，还包括：

发送模块，用于在所述写入模块将所述身份信息写入所述网站登录网页的登录表单中之前，向所述服务器发送访问请求，以请求打开所述登录页面；

所述接收模块，还用于接收所述服务器发送的用于登录所述网站的脚本文件；

获取模块，用于从所述脚本文件获取用于加密的随机码和加密算法。

8.根据权利要求7所述的网站数据采集装置，其特征在于，所述获取模块具体用于对所述脚本文件进行解析，得到所述随机码的第一URL连接和所述加密算法的第二URL链接，访问所述第一URL链接获取所述随机码，以及访问所述第二URL链接获取所述加密算法。

9.根据权利要求8所述的网站数据采集装置，其特征在于，所述加密模块包括：

加密单元，用于采用所述随机码和所述加密算法对所述登录表单进行加密；

发送单元，用于将加密后的所述登录表单携带在验证请求中发送给所述服务器，以使所述服务器验证所述身份信息的合法性。

10.根据权利要求9所述的网站数据采集装置，其特征在于，所述脚本文件中携带所述服务器接收到所述访问请求的时间戳；

所述发送单元，还用于将所述时间戳携带在所述验证请求中发送给所述服务器，以使所述服务器根据所述时间戳和所述服务器的当时时间判断所述登录表单是否超时。