[发明专利]一种基于LDA和BERT的金融文本机器阅读理解方法

说明书

本发明公开了一种基于LDA和BERT的金融文本机器阅读理解方法，该方法采用段落召回步骤和机器阅读理解步骤。针对长文本数据的阅读理解，对数据进行合理切分，通过召回模块进行候选段落的召回，并采用多任务学习的方式在机器阅读理解步骤进行训练。本发明在多文档长文本金融文本领域的阅读理解任务中，将传统的主题模型与深度学习模型相结合，能较好的判断答案是否存在于候选段落中，并且作出较为完备的回答。

技术领域

本发明涉及自然语言处理领域，尤其涉及基于LDA和BERT的金融文本机器阅读理解方法。

背景技术

在金融问答场景中，用户的问题经常围绕公司的经营情况，业务范围，未来的发展方向等方面，专业人员也经常参考该公司发布的年度报告来进行回答。因此如何通过自然语言处理的方式，使得机器能够通过阅读公司的相关报告来回答用户的问题也是研究的一个重要方向。通过合理运用机器阅读理解模型，对金融领域开发相关问答系统，相较于传统检索问答，将显著减少投资者甄别信息所需时间，筛选排除无效甚至错误导向的噪音信息，帮助投资者高效且精准捕抓专业公开信息，更好更快地了解上市公司发展经营情况，帮助投资者优化其投资决策，实现投资收益。

片段抽取式机器阅读理解模型的结构一般为，将问题和文本进行语义编码，输出答案的起止位置。现有的研究方法存在以下问题：

1)传统的深度学习模型比如match-LSTM利用RNN、LSTM等结构对问题和文本分别进行语义编码，由于RNN这种顺序结构的特性，不仅会丧失前面的语义信息，使得无法得到较好的问题和文本的语义信息，并且这种顺序结构会使得训练时间较长，无法进行大规模的高效训练和预测。

2)BERT采用自注意力机制能够较好的获得问题与文章的交互信息，但是无法应用于长文本的情况，并且在多文档长文本的应用场景下，如果直接采用BERT模型将会大大增加训练时间，降低效率。

3)现有机器阅读理解模型只在少量公共数据集上进行实验测试，针对金融领域文本进行多文档长文本开发对应的金融文本机器阅读理解任务是很有必要的。

综上所述，现有的机器阅读理解任务，针对金融领域文本进行多文档长文本开发对应的高效金融文本机器阅读理解任务尚未发现。

发明内容

本发明的目的是针对现有技术的不足而提供的一种基于LDA和BERT的金融文本机器阅读理解方法，将金融长文本进行切分，通过LDA进行相关段落粗召回，然后通过基于BERT的多任务联合训练实现答案的抽取，实现多文档长文本的金融文本机器阅读理解任务。

实现本发明目的的具体技术方案是：

一种基于LDA和BERT的金融文本机器阅读理解方法，该方法包括以下具体步骤：

步骤1：收集问答数据，收集与问答数据日期临近的前一年的企业年报半年报数据，对数据进行截断，清洗，人工标注数据；构建数据集，将数据划分为训练集，验证集和测试集；数据集的字段包括问题、文本和答案；

步骤2：对所有文本进行分词处理，训练文本主题模型，通过训练好的文本主题模型预测文本对应问题的概率大小，并将概率大小以从大到小的顺序排序，取前top N个文本作为候选段落；

步骤3：从候选段落中将包含答案的段落作为正样本，不包含答案的段落作为负样本，将判断段落是否包含答案作为一个分类子任务；

步骤4：将包含答案的段落作为正样本，不包含答案的段落作为负样本，将判断答案的起止位置作为一个分类子任务；

步骤5：将步骤3和步骤4的子任务进行多任务联合训练，将子任务的损失值进行线性组合作为多任务训练的损失函数；

步骤6：构建基于BERT的多任务联合训练模型；