[发明专利]一种多模态融合敏感信息分类检测方法

说明书

一种多模态融合敏感信息分类检测方法，包括步骤1、对文本和图片进行敏感性初级检测，步骤2、基于情感对文本敏感性进行判定，步骤3、图文融合的多模态敏感性检测，本发明结合文本和图片两种模态，检测和分类敏感信息。需要分别对文本和图片进行敏感性检测，结合情感极性和强度对敏感信息的影响，能准确判断出内容的敏感性。根据合适的融合方法解决图文敏感问题，具有较高的检测精度。

技术领域

本发明涉及互联网技术领域，具体说的是一种多模态融合敏感信息分类检测方法。

背景技术

全球网民数量众多，在线社交网络已经成为信息交互的首选平台。随着社交网络的普及和应用越来越广泛，社交网络的信息以图片、文本、音视频为载体，呈现多样化、复杂化、海量化的趋势，敏感信息大量充斥在社交网络中，严重影响网络安全和人民身心健康。如何利用人工智能技术高效准确地对敏感信息进行检测，成为学术界和工业界亟待解决的问题。

现有对敏感信息检测的研究大都是采用单模态特征进行敏感识别，即所谓的单模态数据分析。例如，H.Watanabe等人的论文《Hate Speech on Twitter:APragmaticApproach to CollectHateful and Offensive Expressions andPerformHate SpeechDetection》，提出了一种用于Twitter的仇恨信息检测方法，该方法可自动检测出仇恨的语言模式和最常见的短语组合，并结合情感和语义特征将其进行三分类，分为可恨、令人反感和干净的推文。LinM等人的论文《Sensitive Information Detection on Cyber-Space》提出了基于迭代的半监督深度学习模型和基于哼唱旋律的搜索模型来检测异常音视频信息。Jiang,M.等人的论文《Text classification based on deep beliefnetwork andsoftmaxregression》提出了一种基于深度信念网络和Softmax回归的混合文本分类模型。通过引入深度信念网络解决文本数据的稀疏高维矩阵计算问题，经过DBN 进行特征提取后，使用Softmax回归在学习特征空间中对文本进行分类。IMade Artha Agastya等人的论文《Convolutional Neural Network for Pornographic Images Classification》，提出了一种基于卷积神经网络的色情图片分类。该方法通过更改学习率、算法、完全连接层的结构等，来适应色情图片的检测，提高检测结果的准确率。JoulinA等人的论文《Bag ofTricksfor Efficient Text Classification》，提出了一种快速文本分类器，在准确率方面与深度学习分类器相当，在训练和评估方面比深度学习分类器快多个数量级。Anthony Hu等人的论文《Multimodal Sentiment Analysis To Explore the Structure ofEmotions》，提出多模态情感分析方法，利用融合技术，结合多模态特征，充分挖掘用户的情感类型，提高情感分类准确率。

目前在敏感信息检测方面已取得了一些成果，但还存在以下几个问题：1) 未考虑到多模态数据特征之间的内部联系和互补作用。事实上，在敏感信息检测中，对模态间交互作用的考虑非常必要，信息之间的相互补充可以更加充分理解敏感信息。2)虽然部分考虑了情感因素对文本敏感性检测的重要性，但是忽略了情感极性和情感强度对文本敏感性判断的影响。3)忽略了图片分类问题，图片违规质检本质就是图片分类不同。敏感图片其敏感特征众多，特征部分较难提取，如果只进行简单的敏感和非敏感二分类，准确率会较低。与单模态敏感性方法相比，推文的全局敏感性分析有它独特的优势，因此，考虑模态间数据的共同作用对结果的影响更合理准确。

发明内容

为解决上述技术问题，本发明针对在社交网络中的敏感信息检测不充分、不准确问题，结合文本和图片两种模态，提出一种基于深度学习的多模态融合敏感信息分类检测方法。

为实现上述技术目的，所采用的技术方案是：一种多模态融合敏感信息分类检测方法，包括以下步骤：