[发明专利]一种基于谷歌浏览器插件的网页数据获取方法及系统

权利要求书

1.一种基于谷歌浏览器插件的网页数据获取方法，其特征在于：该方法包括以下步骤：

S1、编写谷歌浏览器插件；

S2、在编写的谷歌浏览器插件中填写对应的配置保证插件正常运行；

S3、自动获取链接；

S4、获取网页数据：首先判断网页是否加载完成，加载完成后获取加载后的网页数据；

S5、自动翻页：在js中获取网页元素，模拟点击翻页按钮执行翻页操作；

S6、自动拖滑块：获取验证码滑块的位置，模拟鼠标事件拖动滑块；

S7、页面操作：在配置文件中写入参数，使用插件时页面配置从配置文件获取，打开页面根据需要选择详情页、列表页点击保存，刷新页面；

S8、数据处理：从网页或文本中获取需要的数据，对网页或文本数据进行格式或处理。

2.根据权利要求1所述的基于谷歌浏览器插件的网页数据获取方法，其特征在于：步骤S1中编写谷歌浏览器插件符合谷歌插件模板，包含manifest.json、.project、html页面、js文件和images文件。

3.根据权利要求2所述的基于谷歌浏览器插件的网页数据获取方法，其特征在于：步骤S2中，在manifest.json、.project中填写相应的配置文件保证插件正常运行。

4.根据权利要求3所述的基于谷歌浏览器插件的网页数据获取方法，其特征在于：步骤S5中，利用xpatch标识特定的网页元素：下一页、当前页；在js中获取网页元素，模拟点击翻页按钮执行翻页操作，利用获取的当前网页页数控制翻页执行到的页数。

5.根据权利要求4所述的基于谷歌浏览器插件的网页数据获取方法，其特征在于：步骤S6中，利用xpatch获取验证码滑块的位置，模拟鼠标事件拖动滑块，获取滑块和滑动条的长度、高度数据，计算需要拖动的距离，结合需要拖动的距离，生成需要拖动的次数，实现模拟手动拖动滑块的操作。

6.根据权利要求5所述的基于谷歌浏览器插件的网页数据获取方法，其特征在于：步骤S7中，在配置文件中写入参数包括数据处理的任务号、实例号、获取链接的服务地址和数据处理接收网页的服务地址。

7.一种基于谷歌浏览器插件的网页数据获取系统，其特征在于：包括以下模块：

谷歌浏览器插件编写模块：用于编写谷歌浏览器插件；

配置填写模块：用于在编写的谷歌浏览器插件中填写对应的配置保证插件正常运行；

链接自动获取模块；用于自动获取链接；

网页数据获取模块：用户获取网页数据，在获取网页数据的过程中首先判断网页是否加载完成，加载完成后获取加载后的网页数据；

自动翻页模块：用于在js中获取网页元素，模拟点击翻页按钮执行翻页操作；

自动拖滑块模块：用于获取验证码滑块的位置，模拟鼠标事件拖动滑块；

页面操作模块：用于在配置文件中写入参数，使用插件时页面配置从配置文件获取，打开页面根据需要选择详情页、列表页点击保存，刷新页面；

数据处理平台：用于从网页或文本中获取需要的数据，对网页或文本数据进行格式或处理。

8.根据权利要求7所述的基于谷歌浏览器插件的网页数据获取系统，其特征在于：自动拖滑块模块利用xpatch获取验证码滑块的位置，模拟鼠标事件拖动滑块，获取滑块和滑动条的长度、高度数据，计算需要拖动的距离，结合需要拖动的距离，生成需要拖动的次数，实现模拟手动拖动滑块的操作。

9.根据权利要求8所述的基于谷歌浏览器插件的网页数据获取系统，其特征在于：页面操作模块在配置文件中写入参数包括数据处理的任务号、实例号、获取链接的服务地址和数据处理接收网页的服务地址。

10.根据权利要求9所述的基于谷歌浏览器插件的网页数据获取系统，其特征在于：数据处理平台为基于hadoop搭建的处理大量数据的平台，从网页或文本中获取需要的数据，对网页或文本数据进行格式或处理。