[发明专利]数据抓取方法和装置

摘要

本发明提供一种数据抓取方法和装置，其中，该方法包括从预先设定的正常运行的各抓取结点中确定一个分发结点；通过分发节点接收各发送终端发送的各数据抓取请求，数据抓取请求中包括url、发送端地址；通过分发结点将各数据抓取请求分发给各抓取结点；通过各抓取结点根据url抓取数据抓取请求所请求的数据，并通过各抓取结点将数据发送给与发送端地址对应的发送终端。从各抓取结点中确定分发结点，不需要专门设置一个接收并分发各数据抓取请求的管理结点，从而一旦该分发结点无法正常运行，还可以从各抓取结点中确定另外一个分发结点，数据抓取的过程依然可以正常运行，不影响数据抓取的过程；保证了数据抓取工作的正常运行。

主权项

一种数据抓取方法，其特征在于，包括：从预先设定的正常运行的各抓取结点中确定一个分发结点；通过所述分发节点接收各发送终端发送的各数据抓取请求，所述数据抓取请求中包括统一资源定位符url、发送端地址；通过所述分发结点将所述各数据抓取请求分发给各所述抓取结点；通过各抓取结点根据所述url抓取所述数据抓取请求所请求的数据，并通过各抓取结点将所述数据发送给与所述发送端地址对应的发送终端。