[发明专利]一种数据抓取系统

摘要

本发明揭示了一种数据抓取系统，所述系统包括钩子加载模块、抓取钩子模块、配置文件生成模块。钩子加载模块用以根据进程数量生成设定数量的抓取钩子模块，配置给需要抓取的进程。抓取钩子模块用以监控其对应进程中业务数据的传递，并抓取相应的业务数据。配置文件生成模块用以将所述抓取钩子模块抓取的业务数据按照可配置的格式写入配置文件中，供其他系统进行数据录入。本发明提出的数据抓取系统，可方便快捷地抓取其他C/S结构业务系统的数据，并提供给其他业务系统录入。本发明可抓取C/S构架中的WINDOWS窗口中的控件数据，对其他业务系统进行窗口数据抓取，并将抓取到的数据按照可配置的格式写入文件，提供给其他系统的数据的输入。

主权项

一种数据抓取系统，其特征在于，所述系统包括：第一数据抓取子系统、第二数据抓取子系统；所述第一数据抓取子系统用以抓取C/S结构系统的数据，包括钩子加载模块、抓取钩子模块、配置文件生成模块；所述钩子加载模块用以根据进程数量生成设定数量的抓取钩子模块，配置给需要抓取的进程；一个进程配置一个抓取钩子模块，或者多个进程配置一个抓取钩子模块，或者一个进程配置多个抓取钩子模块；所述抓取钩子模块用以监控其对应进程中业务数据的传递，并抓取相应的业务数据；所述配置文件生成模块用以将所述抓取钩子模块抓取的业务数据按照可配置的格式写入配置文件中，供其他系统进行数据录入；所述钩子加载模块、抓取钩子模块、配置文件生成模块设置于第一C/S业务系统对应的计算机中；所述系统还包括设置于第二C/S业务系统对应的计算机中的数据利用模块，用以根据所述配置文件生成模块生成的配置文件获取相应数据，并进行数据录入；所述第二数据抓取子系统用以抓取B/S结构系统的数据；所述第二数据抓取子系统包括：地址列表获取模块、网页数据请求模块、网页数据抓取模块、模拟登录模块；所述地址列表获取模块用以获取需要抓取的网页的地址列表信息；所述网页数据请求模块用以根据网页的地址列表信息提出请求，得到网页的内容；所述网页数据抓取模块用以分析网页的结构，并提取出想要的内容；所述网页数据抓取模块用以根据数据发送的源地址与目标地址抓取所需的网页中的数据，抓取的数据为TCP/IP数据包，对TCP/IP数据包进行解析后获得HTTP协议中的文本数据；所述模拟登录模块用以根据登录验证信息模拟登录；登录后，再进行数据的抓取。