[发明专利]基于双模态模型的有害信息检测方法、装置和存储介质

权利要求书

1.基于双模态模型的有害信息检测方法，其特征在于，所述方法包括：

爬取网络文章内容；

通过NLP大模型提取所述网络文章内容的文章特征；

通过视觉大模型提取所述网络文章内容的视觉特征；

将所述文章特征和所述视觉特征融合，通过多核学习算法对所述NLP大模型和所述视觉大模型进行训练，根据所述NLP大模型和所述视觉大模型进行有害信息检测。

2.根据权利要求1所述的基于双模态模型的有害信息检测方法，其特征在于，所述通过NLP大模型提取所述网络文章内容的文章特征，包括：

对所述网络文章内容进行分词处理，通过所述NLP大模型获取词向量；

通过最大池操作对所述词向量进行映射，将所述词向量的最大值作为对应的特征内核向量；

使用所述特征内核向量和窗口大小获得多个特征，得到所述网络文章内容的文章特征。

3.根据权利要求1所述的基于双模态模型的有害信息检测方法，其特征在于，通过视觉大模型提取所述网络文章内容的视觉特征，包括：

将所述网络文章内容的图像和视频输入所述视觉大模型；

使用卷积神经网络将两个图像组合为一个图像，通过循环神经网络捕获图像中的空间结构信息，得到所述网络文章内容的视觉特征。

4.根据权利要求3所述的基于双模态模型的有害信息检测方法，其特征在于，通过循环神经网络捕获图像中的空间结构信息，得到所述网络文章内容的视觉特征，包括：

将权重矩阵与下层激活矩阵进行卷积使用反向传播对权重进行训练；

通过循环神经网络在神经元之间的反馈连接按时间序列建模依赖关系，其中，每个隐藏层状态都是前一状态的函数；

使用卷积神经网络捕获视频序列中固有的空间和时间模式；

将循环神经网络和卷积神经网络两种模型结合，融合图片序列或视频的特征向量。

5.根据权利要求1所述的基于双模态模型的有害信息检测方法，其特征在于，将所述文章特征和所述视觉特征融合，包括：

将所述文章向量和所述视觉向量通过归一化后链接到一起。

6.根据权利要求1所述的基于双模态模型的有害信息检测方法，其特征在于，通过多核学习算法对所述NLP大模型和所述视觉大模型进行训练，包括：

将融合后的所述文章特征和所述视觉特征输入多核学习算法训练分类器；

将融合后的所述文章特征和所述视觉特征中的不同特征分量分别通过单个核函数进行映射。

7.根据权利要求1所述的基于双模态模型的有害信息检测方法，其特征在于，通过多核学习算法对所述NLP大模型和所述视觉大模型进行训练，包括：

将特征分成若干个组，合并来自文本和视觉两种模态的数据特征；

其中，每个组都有对应的核函数。

8.基于双模态模型的有害信息检测装置，其特征在于，所述装置包括：

第一模块，用于爬取网络文章内容；

第二模块，用于通过NLP大模型提取所述网络文章内容的文章特征；

第三模块，用于通过视觉大模型提取所述网络文章内容的视觉特征；

第四模块，用于将所述文章特征和所述视觉特征融合，通过多核学习算法对所述NLP大模型和所述视觉大模型进行训练，根据所述NLP大模型和所述视觉大模型进行有害信息检测。

9.基于双模态模型的有害信息检测装置，其特征在于，所述装置包括：

至少一个处理器；

至少一个存储器，所述存储器用于存储至少一个程序；

当至少一个所述程序被至少一个所述处理器执行时实现如权利要求1-7中任一项所述的基于双模态模型的有害信息检测方法。

10.存储介质，其特征在于，所述存储介质存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时实现如权利要求1-7中任一项所述的基于双模态模型的有害信息检测方法。