[发明专利]一种CDN及CACHE缓存不良信息内容审计的方法

说明书

本发明公开了一种CDN及CACHE缓存不良信息内容审计的方法，方法步骤如下，A.通过数据传输接口获取数据包；B.文件解析模块数据格式化；C.文件解析模块生成待扫描URL传递给网页内容抓取模块；D.数据处理模块利用智能图像识别模型对图片进行特定图像的识别，完成对CDN/cache内容的识别审计过程。与现有技术相比，本发明提升了内容审计覆盖业务范围，支持CDN/webcache业务不良信息审计，爬虫模块可直接通过文件读取待扫描URL进行内容爬扫，获取网页内容。采用深度学习算法，通过模拟人脑神经网络，构建具有高层次表现力的模型，通过大数据持续训练、频繁的迭代，精确度可达到99.5％。

技术领域

本发明涉及一种，尤其涉及一种CDN及CACHE缓存不良信息内容审计的方法。

背景技术

目前内容安全审计主要针对IDC机房托管的网站开展，通过网络爬虫手段，对网站进行逐层扫描并获取网页文字、图片内容进行色情、暴恐、反动、博彩等类型的识别。

随着运营商的业务不断发展，为提升用户访问体验，CDN和webcache作为新的业务形态出现，其共同点都是缓存了一些具体网页内容，但相互之间并无实际联系，不能通过网络爬虫进行关联爬扫，现有技术手段存在以下问题：

(1)监测对象覆盖不足

只能对IDC提供的域名清单，以域名为入口进行逐层爬扫。

(2)无日志URL提取分析手段

需要通过页面，按照固定格式导入待扫描域名清单，不能从海量日志文件中主动提取URL链接信息。因链接数量太大，也不能通过录入方式导入。

(3)色情图片识别技术误报较高

采用肤色算法识别色情图片，通过图片RGB值识别肤色比例、通过建模识别异常动作、敏感部位，误报和漏报都较高，已无法满足当前审计需求。

发明内容

本发明的目的就在于提供一种解决了上述问题的CDN及CACHE缓存不良信息内容审计的方法。

为了实现上述目的，本发明采用的技术方案是：一种CDN及CACHE缓存不良信息内容审计的方法，方法步骤如下，

A.通过数据传输接口获取CDN/cache生成的访问日志文件zip数据包，由文件解析模块进行日志文件提取；

B.文件解析模块对ZIP包内日志文件进行分析，获取文本、图片URL链接、域名、时间、IP地址、以及字段信息，进行数据格式化；

C.文件解析模块将URL进行集中统一去重后，生成待扫描URL传递给网页内容抓取模块，网页抓取模块模拟访问URL，并获取对应的图片、文字信息；

D.数据处理模块利用智能图像识别模型对图片进行特定图像的识别，利用关键词匹配及权重分析技术对文字进行关键字匹配，并根据设定的策略生存疑似违规并告警，完成对CDN/cache内容的识别审计过程。

作为优选，步骤A中，数据传输接口通过FTP方式从CDN/cache获取日志文件、包括所有文本、图片URL访问日志信息。

作为优选，步骤A中，日志文件提取后采用日志信息记录模块进行记录，文件解析模块针对每个压缩包里面的日志文件，逐行分析每条日志记录，提取关键信息字段。

作为优选，步骤C中，网页抓取模块进行网页主动抓取扫描的方法如下：

a.先进行网页扫描任务调度

采用用户驱动和深度遍历搜索两种任务调度模式采集网页信息；

b.网页内容抓取

根据任务调度器所分发的url，使用页面扫描器对每个url所对应的资源进行快速抓取；