[发明专利]图文检测方法、装置、服务器及存储介质

说明书

本公开是关于一种图文检测方法、装置、服务器及存储介质，属于互联网技术领域。本公开实施例提供的图文检测方法，获取待检测图文，待检测图文包括待检测图像和待检测文本，提取待检测图像的图像特征向量，得到第一图像特征向量，以及提取待检测文本的文本特征向量，得到第一文本特征向量。基于图文转换矩阵，将第一图像特征向量转换为文本特征向量，得到第二文本特征向量，基于第一文本特征向量和第二文本特征向量，对待检测图像和待检测文本进行检测。该方法通过图文转换矩阵，将第一图像特征向量转换为文字模态下的第二文本特征向量，从而根据同一模态的第一文本特征向量和第二文本特征向量对待检测图文进行检测，提高了检测的准确率。

技术领域

本公开涉及互联网技术领域，尤其涉及一种图文检测方法、装置、服务器及存储介质。

背景技术

随着互联网技术的发展，用户可以在互联网上上传一些图像，并且还可以给图像配上文本，但图像内容和文本对应的文本信息可能一致或不一致。例如，用户上传的图像为天气的图像，配的文本为“今天天气好晴朗”，该图像内容和文本信息一致。再如，用户上传的图像为猫的图像，但配的文本却为“今天天气真好”，该图像内容和文本信息不一致。因此，在用户上传的时候需要对图像内容和文本信息的一致性进行检测。

相关技术中，主要是提取待检测图文的图像特征和文本特征，将图像特征和文本特征进行拼接融合，然后将融合后的特征输入到分类模型中，得到分类结果，该分类结果可以为图像内容和文本信息一致或不一致。

但相关技术中，主要是基于融合后的特征进行分类，然而融合后的特征并不能反映图像特征和文本特征之间的关系，从而根据拼接融合后的特征进行分类的方法会降低图文检测的准确率。

发明内容

本公开提供一种图文检测方法、装置、服务器及存储介质，可以解决图文检测准确率低的问题。

根据本公开实施例的第一方面，提供了一种图文检测方法，所述方法包括：

获取待检测图文，所述待检测图文包括待检测图像和待检测文本；

提取所述待检测图像的图像特征向量，得到第一图像特征向量，以及提取所述待检测文本的文本特征向量，得到第一文本特征向量；

基于图文转换矩阵，将所述第一图像特征向量转换为文本特征向量，得到第二文本特征向量；

基于所述第一文本特征向量和所述第二文本特征向量，对所述待检测图像和待检测文本进行检测。

在一种可能的实现方式中，所述基于图文转换矩阵，将所述第一图像特征向量转换为文本特征向量，得到第二文本特征向量，包括：

将所述第一图像特征向量与所述图文转换矩阵进行叉乘运算，得到运算结果，将所述运算结果作为所述第二文本特征向量。

在另一种可能的实现方式中，所述基于所述第一文本特征向量和所述第二文本特征向量，对所述待检测图像和待检测文本进行检测，包括：

确定所述第一文本特征向量和所述第二文本特征向量之间的匹配度；

当所述匹配度大于预设阈值时，确定所述待检测图像和所述待检测文本一致；

当所述匹配度不大于所述预设阈值时，确定所述待检测图像和所述待检测文本不一致。

在另一种可能的实现方式中，在所述基于图文转换矩阵，将所述第一图像特征向量转换为文本特征向量，得到第二文本特征向量之前，所述方法还包括：

获取至少一个样本图文中每个样本图文对应的第二图像特征向量和第三文本特征向量，所述每个样本图文包括的样本图像与样本文本一致；

基于所述图文转换矩阵的转置矩阵对应的第一变量，将所述每个样本图文对应的第三文本特征向量转换为图像特征向量，得到所述每个样本图文的图像向量函数；