[发明专利]一种获取互联网金融广告的方法

权利要求书

1.一种获取互联网金融广告的方法，其特征是包括以下步骤：

(1)获取金融广告爬取网站及其链接；

(2)打开步骤(1)中的网站和链接，获取网站中金融广告的URL，若有图片也要获取图片src；

(3)根据步骤(2)的广告URL和图片src依照Adblock插件过滤规则编写过滤规则列表；

(4)根据步骤(3)编写的过滤规则列表，将过滤规则列表保存进数据库；

(5)根据步骤(1)中的网站，爬取网站内容，提取相应的url、图片src属性，然后将提取到的内容根据步骤(4)的过滤规则列表通过python的adblockparser解析器进行过滤获取金融广告。

2.根据权利要求1所述的一种获取互联网金融广告的方法，其特征在于所述步骤(1)中通过选取部分金融以及财经类的网站，然后根据这些网站下方的友情链接进行扩展，一般深入两到三层，将所有网站的名称和链接保存进数据库。

3.根据权利要求1所述的一种获取互联网金融广告的方法，其特征在于步骤(2)中获取网站中金融广告的URL以及广告图片src，包括以下步骤：

a.通过浏览器打开网站链接；

b.人工识别网站中所有的金融广告，包括图片广告和文字广告；

c.将识别到的广告的URL以及图片广告的src保存至一张表中；

主页识别完毕后，再打开网站内的几个子链接，继续进行步骤b和步骤c，涵盖大部分子网站的广告。

4.根据权利要求1所述的一种获取互联网金融广告的方法，其特征在于步骤(3)中的Adblock是一款广告拦截插件，除其本身自有的广告过滤清单，还可以人工设置广告的过滤规则来达到更加高级的广告过滤需求；过滤规则主要用到以下几项：

a1.通配符(*)：可以链接中随意生成的数字或者日期等等；

b1.匹配网址开头/结尾：|

|http://adv:只会拦截http://adv开始的url；

||adv：前面两条||并且后面直接跟着网址，则会忽略http与https的差异，同时拦截http://adv、https://adv和http://www.adv；

swf|:只会拦截swf结尾的url；

将步骤(2)保存的广告URL和src根据a1、b1两项编写广告过滤规则，构建过滤规则列表，列表包含规则id、网站名称、网站域名(精确到子域名)、广告规则。

5.根据权利要求1所述的一种获取互联网金融广告的方法，其特征在于步骤(5)获取金融广告，包括以下步骤：

a2.安装adblockparser解析器；步骤a2的adblockparser解析器，是用于Adblock加滤波器的python解析器，是一个用于处理Adblock加过滤规则的软件包；它可以解析Adblock加过滤器和MATCH url；

b2.模拟浏览器打开网站的URL，利用Xpath规则获取网站内所有的URL和src；步骤b2中将获取的URL继续进行步骤b2，深入两到三层；

c2.从数据库中获取过滤规则并保存进列表中，然后从过滤规则列表创建adblockparser解析器中的AdblockRules实例；

d2.将步骤b获取的URL和src依次使用步骤c中实例检查是否符合广告规则；步骤d2检查是否符合广告规则，是将所有待测选项传递到AdblockRules实例的should_block方法中，符合规则返回True，不符合返回False；

e2.将步骤d2中符合广告规则的结果联合其所在网页位置的所有广告相关内容保存进数据库。