[发明专利]基于跨模态识别技术的互联网短视频判违装置及方法

说明书

本发明公开了基于跨模态识别技术的互联网短视频判违装置，采用跨模态识别统一框架，包括视频采集模块，用于快速采集视频和下载网上视频并进行解码处理；包括人脸识别模块、物体识别模块、行为识别模块、OCR技术模块、语音识别模块、自然语言处理模块、判违结果显示模块；人脸识别模块、物体识别模块、行为识别模块、OCR技术模块、语音识别模块、自然语言处理模块的处理过程均运行在高性能的GPU计算平台上。本发明具有快速视频采集和判别处理、能判别多种类别的违规视频、能批量大规模处理短视频、能生成近期违规词汇统计图，协助用户做决策、能进行多维度加密，防止违规信息外泄等功能。

技术领域

本发明应用于人工智能及网络信息安全领域，涉及人脸识别、物体识别、行为识别、OCR、语音识别、NLP等跨模态识别和信息融合技术，从而实现对海量短视频准确、快速、批量判违的功能，具体是一种基于跨模态识别技术的互联网短视频判违装置及方法。

背景技术

随着移动互联网的普及以及4G技术的成熟，越来越多的人参与到通过分享短视频来进行社交的潮流中来。在网上分享短视频的成本非常低，使得短视频内容的安全性缺乏保障，很多视频会存在暴力、恐怖、毒品、黄色、政治谣言等不安全因素，这些东西在网上传播速度快，传播的范围广，对国民的意识形态有很大危害。但是由于短视频本身具有数量多，种类杂，质量层次不齐的特点，用肉眼去判别，效率低且不准确。而传统的短视频判违装置，仅仅通过视频的MD5值和标题来判违，准确度不高，会有很大遗漏。要想做好短视频判违装置，必须要基于视频的内容，解决违规视频类别多、违规内容种类多等难题。

目前对于短视频判违有需求的客户群体很多，比如公安网安、网信办等政府监管部门、视频内容生产、传播运营商等。这就要求互联网短视频判违装置，必须要能处理格式多样的短视频、在视频采集和判别时要非常快速、能够批量大规模处理海量的短视频、要有很高的准确度并且也要有很高的安全性。

发明内容

本发明的目的在于克服以上存在的技术问题，提供一种基于跨模态识别技术的互联网短视频判违装置。

为实现上述目的，本发明采用如下的技术方案：

基于跨模态识别技术的互联网短视频判违装置，采用跨模态识别统一框架，包括视频采集模块，用于快速采集视频和下载网上视频并进行解码处理；人脸识别模块，用以识别视频中的人脸信息；物体识别模块，用以标注视频中的物体信息；行为识别模块，用于标注视频中的行为信息；OCR技术模块，用以将字幕转化为文本；语音识别模块，用以将视频中的音频信息转化为文本；自然语言处理模块，用以将文本和样本库进行对比，进行判违和判级；判违结果显示模块，用以呈现违规视频的具体内容，包括视频的标题、违规的类别、违规的等级；高性能GPU，所述高性能GPU采用多线程多进程并行计算技术，能批量大规模处理海量短视频；所述人脸识别模块、物体识别模块、行为识别模块、OCR技术模块、语音识别模块、自然语言处理模块的处理过程均在高性能GPU进行。

进一步地，所述视频采集模块为视频快采设备，用于快速采集和下载短视频，并兼容多种视频格式。

进一步地，所述视频格式包括AVI、WMV、RM、RMVB、MPEG2、MP4视频格式。

进一步地，还包括信息统计分析模块，用于对7天内违规信息中高频主题词和敏感词生成形信息统计分析图。

进一步地，还包括加密模块，所述加密模块采用多维度加密技术，保护用户所有数据，防止违规信息外泄。

进一步地，所述判违和判级分为三级，三级最高，一级最低。

本发明还提供一种基于跨模态识别技术的互联网短视频判违方法，包括以下步骤：

step1：视频采集，视频快速采集设备对本地视频资源快速采集或者高速下载互联网短视频；

step2：解码处理，对短视频资源进行解码处理；