[发明专利]基于主被动结合的音视频网站用户入口标识方法及系统

说明书

本发明公开一种主被动结合的音视频网站用户入口标识方法及系统，属于互联网信息技术领域，通过用户输入的域名查询全局节目标识表中是否存在该域名，如果不存在，则获取域名网站主页的候选子页面URL；通过主动访问，判断页面中是否存在音视频节目，提取所有包含音视频节目的子页面URL；根据候选子页面URL的数量及其与包含音视频节目的子页面URL的数量占比关系，判断该网站是否为音视频网站；如果是音视频网站，则获得节目标识，并将网站信息和节目标识更新至全局节目标识表中；如果不是，则将该网站信息更新至全局节目标识表中；将是否为音视频网站和音视频网站的节目标识作为查询结果返回给用户。

技术领域

本发明属于互联网信息技术领域，具体涉及基于主被动结合的音视频网站用户入口标识方法及系统。

背景技术

一些安全性要求较高的企业或组织，对互联网传输的音视频内容有较强的监测需求。通过对出入互联网的音视频流量进行监测审计，以发现其中的不良内容。例如，一些娱乐音视频网站供应商，需要对用户上传的音视频内容进行审查，以发现其中的有害音视频节目。随着互联网安全形势的恶化和开放程度的提高，越来越多的网络监测系统将音视频列入监测对象，并部署在运营商、企业等的互联网出入口。通常，网络监测系统通过分光或镜像的方法获得内部网络与互联网的网络流量。系统通过对网络流量进行重整和分析，能够对音视频内容进行解码分析，进而记录有害音视频流量信息，并进行告警。

由于网络流量中音视频流量占比较大，且音视频解码分析的速率远远达不到系统流量捕获的速率，这就给音视频分析系统造成了瓶颈。同时，许多音视频的节目的入口页面存在着一定规律，如果能够对这些音视频入口页面规律进行分析挖掘，能够极大增强音视频流量的分析效率，节约建设投资。

现有的音视频流量标识方案，是针对内容或标题的相似性进行的。专利CN103678702A提出了一种视频标识去重的方法，它是根据视频的文本数据将视频集合分为多个子视频集合，利用空间向量模型计算视频子集和两个视频的相似度，通过节目内容对音视频节目进行标识。专利103678527A提出了根据视频标题和视频流的相似度进行视频标识的方法。

由上述可知，现有技术基于旁路监测系统，无法解决以下几方面的问题：

1、网络流量存在随机性。监测系统通过旁路方式获取音视频流量，由于流量镜像、分光、传输等原因，系统捕获到的网络流量存在丢包、乱序、不全等现象，导致通过获取固定片段计算摘要、获取视频标题相似度等方法计算节目标识不可行。

2、海量音视频节目标识效率低。上述解决方案都是通过视频内容计算摘要或相似度进行，摘要是一个模糊值，不能作为节目的唯一标识。如果进行全部节目的摘要比对，效率会较低，而流量识别的同时一般要采取相应的处理动作，会导致该种动作响应迟缓。

3、无法适应用户配置状态的改变。音视频系统根据用户下发的配置进行有害节目的识别。节目的有害与否是基于用户配置的，是相对的。监测系统音视频去重的方案应该能够随着用户配置进行更改，选择需要的节目进行标识，而非对所有节目的处理一视同仁。以上方案无法实现这一需求。

综上所述，需要设计一种解决以上问题的视频网站用户入口标识方法，以适应网络监测系统应用场景的需求。

发明内容

为了提高网络监测系统对音视频流量的处理效率，节约计算资源，本发明提出了一种基于主被动结合的音视频网站用户入口标识方法，能够从被动流量中快速发现用户访问的视频内容，通过音视频入口页面的URL特征标识，提高音视频内容的检测效率。

为实现上述目的，本发明采用以下技术方案：

一种主被动结合的音视频网站用户入口标识方法，包括以下步骤：

1)获取用户输入的域名，查询全局节目标识表中是否存在该域名，如果存在，则将查询结果返回给用户；