[发明专利]一种CDN及CACHE缓存不良信息内容审计的方法

权利要求书

1.一种CDN及CACHE缓存不良信息内容审计的方法，其特征在于：方法步骤如下，

A.通过数据传输接口获取CDN/cache生成的访问日志文件zip数据包，由文件解析模块进行日志文件提取；

B.文件解析模块对ZIP包内日志文件进行分析，获取文本、图片URL链接、域名、时间、IP地址、以及字段信息，进行数据格式化；

C.文件解析模块将URL进行集中统一去重后，生成待扫描URL传递给网页内容抓取模块，网页抓取模块模拟访问URL，并获取对应的图片、文字信息；

D.数据处理模块利用智能图像识别模型对图片进行特定图像的识别，利用关键词匹配及权重分析技术对文字进行关键字匹配，并根据设定的策略生存疑似违规并告警，完成对CDN/cache内容的识别审计过程。

2.根据权利要求1所述的一种CDN及CACHE缓存不良信息内容审计的方法，其特征在于：步骤A中，数据传输接口通过FTP方式从CDN/cache获取日志文件、包括所有文本、图片URL访问日志信息。

3.根据权利要求1所述的一种CDN及CACHE缓存不良信息内容审计的方法，其特征在于：步骤A中，日志文件提取后采用日志信息记录模块进行记录，文件解析模块针对每个压缩包里面的日志文件，逐行分析每条日志记录，提取关键信息字段。

4.根据权利要求1所述的一种CDN及CACHE缓存不良信息内容审计的方法，其特征在于：步骤C中，网页抓取模块进行网页主动抓取扫描的方法如下：

a.先进行网页扫描任务调度

采用用户驱动和深度遍历搜索两种任务调度模式采集网页信息；

b.网页内容抓取

根据任务调度器所分发的url，使用页面扫描器对每个url所对应的资源进行快速抓取；

c.网页内容关键字匹配计算

对于所获取到的网页首先进行分类，将文本内容单独提取出来进行关键字匹配计算，根据匹配结果对网页进行定性标记。

5.根据权利要求4所述的一种CDN及CACHE缓存不良信息内容审计的方法，其特征在于：进行网页内容抓取时，

1)采用异步并发获取资源

页面扫描器采用异步的多连接资源获取模型，并发获取多个url所指向的资源；

2)灵活的配置目标资源的种类和性质

通过设置页面扫描器启动文件中的正则表达式，可以令扫描器在获取过程中迅速放弃不需要处理的资源，并对获取到的资源进行分类。

3)将图片类的资源进行内容存储以及结构化信息的记录；

4)对文本内容进行解析，得到其中的子链接，并进行关键字匹配计算。

6.根据权利要求1所述的一种CDN及CACHE缓存不良信息内容审计的方法，其特征在于：步骤D中，数据处理模块内设数据扫描任务管理模块，数据扫描任务管理模块对提取的文本、图片URL建立扫描任务，实现网页的快速扫描和内容提取。

7.根据权利要求6所述的一种CDN及CACHE缓存不良信息内容审计的方法，其特征在于：所述数据扫描任务管理模块进行扫描的方式为：

a.以URL为单位对待扫描文本、图片URL进行分类存放，形成待扫描URL文件，并建立扫描任务标示；

b.利用统一调度机制对扫描集群运行状态进行分析，将待扫描URL文件发送到负载低的设备进行处理，并对已分配URL文件进行标示；

c.不断更新URL扫描状态和扫描集群状态，持续进行扫描任务分配。

8.根据权利要求1所述的一种CDN及CACHE缓存不良信息内容审计的方法，其特征在于：使用深度卷积神经网络进行图像理解，卷积神经网络通过对神经元之间的连接根据相似性进行过滤，使图像处理在计算层面可控，实现智能精准识别。