[发明专利]一种基于多任务联合训练的机器阅读理解模型的使用方法

说明书

本发明涉及一种基于多任务联合训练的机器阅读理解模型的使用方法，具体包括如下步骤：S1：建立基于多任务学习的阅读理解模型，将阅读理解任务分为多个子任务，设计多个子模块分别进行处理，并进行多任务联合训练，其中子模块包括文本编码模块；答案抽取模块；答案分类模块；支撑句判别模块；S2：将文本及问题输入文本编码模块，由文本编码模块进行编码，然后输入至答案抽取模块与答案分类模块与支撑句判别模块；S3：由答案抽取模块、答案分类模块与支撑句判别模块输出结果。本发明可以避免文本的重复编码，同时将答案抽取，答案分类，支撑句判别三个模块进行多任务联合训练，相互促进，提升最终的模型表现。

技术领域

本发明涉及基于多任务联合训练的机器阅读理解模型的使用方法。

背景技术

随着深度学习的迅速发展，机器阅读理解成为了自然语言处理领域的热点任务之一，在文本问答、信息抽取、对话系统等领域具有极强的应用价值。手机上的智能助手、电商里常见的AI客服，都是机器阅读理解的应用场景。

机器阅读理解任务根据答案类型可以分为是否回答、片段抽取、无回答等类别，通常通过深度学习完成，目前主流的机器阅读评测数据集为HOTPOTQA和SQUAD，HOTPOTQA数据集格式为[文本，问题，答案，支撑句]，可以较好的评估模型是否真正的理解了文本。

在法律领域，[文本，问题，答案，支撑句]格式的数据集较少，而数据集的规模以及质量是制约深度学习模型表现的一个关键因素，数据量会影响训练出的深度学习模型的精度。

目前处理机器阅读理解流程通常是线性独立处理，即先对答案类型进行分类，再根据答案类型进行处理，如果是片段抽取类型的问题，进行答案抽取，最后根据抽取的答案返回文本找出支撑句。这样的方式主要存在两个弊端：

线性独立处理的方式会出现文本重复编码的问题，每个子任务都是独立完成的，因此对于每个子任务都需要进行文本编码。例如，在进行答案类型分类之前需要先对文本进行编码作为答案分类模块的输入。完成后如果问题属于片段抽取类型，进行答案抽取时需要再次对文本及问题进行编码，需要找出支撑句时，仍然需要对文本进行编码，这导致计算资源浪费。

各个模块之间没有相互促进，由于各个任务是一个一个线性独立完成的，模块与模块之间的交互很少，很难起到相互促进的作用。

发明内容

本发明的目的是提供一种基于多任务联合训练的机器阅读理解模型的使用方法，其能够提供一个机器阅读理解模型，使用该模型可以解决文本、问题、答案或支撑句的输出，可以较好地理解文本。

为达到上述目的，而采用了一种基于多任务联合训练的机器阅读理解模型使用方法，具体包括如下步骤：

S1：建立基于多任务学习的阅读理解模型，将阅读理解任务分为多个子任务，设计多个子模块分别进行处理，并进行多任务联合训练，其中子模块包括文本编码模块、答案抽取模块、答案分类模块和支撑句判别模块；

S2：将文本及问题输入文本编码模块，再由文本编码模块进行编码，然后输入至答案抽取模块或答案分类模块或支撑句判别模块；

S3：由答案抽取模块、答案分类模块与支撑句判别模块进行片段抽取类型任务或问题的答案、答案类型与支撑句的输出。

本发明能够依据问题及相关文本通过机器阅读理解模型得到正确的答案，并能提供答案在文本中所依赖的句子，在法律领域中运用，有利于提高阅读效率，快速反馈答案。发明提出了一个基于多任务联合训练的机器阅读理解模型，可以避免文本的重复编码，同时将答案抽取，答案分类，支撑句判别三个模块进行联合训练，相互促进，提升最终的模型表现。

作为本发明基于多任务联合训练的机器阅读理解模型的使用方法进一步的改进：