[发明专利]一种基于多模态交叉比较的题目检索方法和系统

权利要求书

1.一种基于多模态交叉比较的题目检索系统，其特征在于，所述系统包括：题目数据解析模块、题目相似度计算模块和结果输出模块；其中，

题目数据解析模块，用于接收用户输入的题目信息，并进行预处理；

题目相似度计算模块，用于计算用户输入的题目与题库中的题目的相似度；

结果输出模块，用于将所述相似度大于预先设置的科目阈值的所述题库中的题目返回用户；

在所述题目相似度计算模块中，包括：

a.将题目标题清理后文本和题目内容清理后文本拼接后作为文本表示，将题目图片文本识别内容和题目图片作为图片表示；

b.将用户输入题目的文本表示与图片表示用T1、P1表示，题库中题目的文本表示与图片表示用T2、P2表示，计算T1与T2、T1与P2、P1与T2、P1与P2的相似度，分别用S1、S2、S3、S4表示；

c.计算综合相似度s；

所述相似度S1采用Jaccard方法进行计算；通过余弦相似度计算相似度S2、S3和S4；题目图片文本识别通过BERT模型转换为向量表示，题目图片通过LeNet卷积网络模型转换为向量，然后将这两个向量拼接作为图片表示的向量化表示；

综合相似度s的计算公式为：

W为科目权重。

2.根据权利要求1所述的题目检索系统，其特征在于，科目权重为：

。

3.根据权利要求1所述的题目检索系统，其特征在于，在结果输出模块中，若综合相似度大于用户输入的题目所对应的科目阈值，则将题库中问题作为候选问题。

4.根据权利要求3所述的题目检索系统，其特征在于，所述科目阈值为：

。

5.一种基于多模态交叉比较的题目检索方法，包括：

步骤1、接收用户输入的题目信息；

步骤2、计算接收的题目与题库中题目的相似度；

步骤3、对于相似度大于科目阈值的题库中题目作为候选问题返回给用户；

所述步骤2包括：

a.获取题目信息的文本表示和图片表示；

b.将题目的文本表示与图片表示用T1、P1表示，将题库中题目的文本表示与图片表示用T2、P2表示，然后交叉比较四部分内容的相似度S1、S2、S3、S4；其中，S1采用Jaccard方法计算；计算S2、S3、S4时采用余弦相似度计算方法；

c.计算综合相似度s；

综合相似度s的计算公式为：

W为科目权重，其中，题目图片文本识别通过BERT模型转换为向量表示，题目图片通过LeNet卷积网络模型转换为向量，然后将这两个向量拼接作为图片表示的向量化表示。

6.根据权利要求5所述的题目检索方法，其特征在于，在所述步骤3中，将综合相似度大于用户输入题目所对应的科目阈值的题库中的题目作为候选问题。