[发明专利]一种基于多模态交叉比较的题目检索方法和系统

说明书

本发明提供了一种基于多模态交叉比较的题目检索系统和方法，系统包括：题目数据解析模块、题目相似度计算模块和结果输出模块；其中，题目数据解析模块，用于接收用户输入的题目信息，并进行预处理及结构化整理；题目相似度计算模块，用于交叉计算用户输入的题目与题库中的题目的文本表示和图片表示的相似度，并加权计算其综合相似度；结果输出模块，用于将综合相似度大于预先设置的科目阈值的题库中的题目及答案等相关信息返回用户。通过本发明的系统，可以使得各科题目在题目库中的检索结果更加准确。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于多模态交叉比较的题目检索方法和系统。

背景技术

近年来，随着互联网和人工智能技术的发展，题目问答系统得到的很大的发展，为个性化教学提供了很大的帮助。如何根据用户的问题在题库中快速并准确地检索到与用户输入问题相同或相似的问题然后给出答案变得越来越重要。

当前，题目检索系统的实现方式一般是通过比较题目间的文本相似度来实现的，用户将用于描述题目信息的文本传递给题目检索系统，题目检索系统通过比较用户输入题目文本与题库题目文本之间的文本相似度，然后选取相似度最大的题目作为检索结果返回给用户。若用户输入的题目信息为图片的形式，则通过比较图片的相似度来比较题目的相似度。

目前文本相似度计算方法主要分为两类。分别是基于字符的文本相似度计算方法及基于向量空间的文本相似度计算方法。

基于字符的文本相似度计算方法如传统的编辑距离、汉明距离、Jaccard、LCS等方法，通过直接比较两个文本字符串间相同字符及其序列关系来评估其文本相似度。

基于向量空间的文本相似度计算方法如TF-IDF、BM25、以及将文本进行向量表示后通过余弦相似度来计算以及通过神经网络来直接比较文本间的相似情况。

随着多媒体的发展，用户在描述题目信息的时候，除了通过纯文本的方式来描述，当前更多的情况是通过文本并结合图片共同描述题目的信息。

当前市面上主流的题目检索服务及系统只支持面向文本题目或者图片题目的检索方式，比如“搜题易”(地址为：https://www.xuesai.cn/souti/)小猿搜题等，如图1和图2所示。

现有技术主要有以下几种问题，下面说明并描述其问题所在。

(1)仅输入文本内容，对于数学、物理或者语文中看图说话等形式的题目，用户经常会出现不知如何表述，或者表述不清的状况。

(2)仅输入图片内容，虽然能返回正确答案，但答案可能并不能够满足用户的需求，比如图2所示，用户对于答案中向量加法的三角形法则可能不熟悉，这样即使看到答案，可能也不清楚如何做题。因此，如果能让用户输入其需求，则能更好地为用户辅文。

(3)现在也有问答系统让用户同时输入题目文本部分与题目图片部分，但其通过图片文本识别技术将题目图片部分识别为文本表示，然后将题目文本部分与识别出的图片文本内容直接拼接后比较题目间的文本相似度。由于图片文本识别技术的缺陷，会出现题目内容识别错误的情况，比如同一个题目由于光线、角度等不一样，最后识别出的结果也不一样，这种情况会导致原来相同的题目由于图片文本识别的错误而判定为不相似。

发明内容

针对现有技术的不足，本发明提供一种基于多模态交叉比较的题目检索方法和系统，通过(1)题目数据解析模块将用户的输入题目进行结构化整理，(2)通过题目相似度计算模块逐一计算用户输入题目与候选题目之间的相似度，并将结果的信息返回给用户。

为实现上述目的，本发明通过以下技术方案予以实现。

根据本发明的一方面，提出一种基于多模态交叉比较的题目检索系统，包括：题目数据解析模块、题目相似度计算模块和结构输出模块；其中，