[发明专利]一种面向金融场景的端到端自然语言处理训练框架与方法

说明书

本发明公开了一种面向金融场景的端到端自然语言处理训练框架与方法，涉及自然语言处理领域，所述训练框架包括：Google原生BERT模块、FinBERT预训练模块、基于类似self‑training思想从外部相关数据中挖掘新数据模块、下游任务语料上进行预训练模块、用半监督学习的框架来充分利用无标签语料模块、知识蒸馏模块、线上部署模块。所述训练方法包括以：步骤1、FinBERT预训练；步骤2、基于类似self‑training思想从外部相关数据中挖掘新数据；步骤3、下游任务语料上进行预训练，对所述FinBERT进行再一次预训练，得到的模型称之为TASK FinBERT；步骤4、用半监督学习的框架来充分利用无标签语料，在TASK FinBERT的基础上，训练得到的模型称之为UDA FinBERT；步骤5、蒸馏学习，将学习到的知识和特征蒸馏到轻量级模型上。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种面向金融场景的端到端自然语言处理训练框架与方法。

背景技术

现代信息技术的高速发展使得互联网上所容纳的数据和信息呈现爆炸式增长。大量的数据是以文本的形式呈现，如各大互联网的网页数据，而大数据想要体现出数据的价值，就需要利用自然语言处理(Natural Language Processing,NLP)技术去挖掘文本的核心内容。在文本挖掘中，不同的领域都会有着丰富多样的自然语言处理任务，如在金融领域的自然语言处理任务包括文本分类、情感分析、文本聚类、实体识别、文本相似度计算、信息抽取等。每一类任务中又有很多细分场景，比如在实体识别中，既有公司和人物提取，也有产品、品牌提取，也有招投标中的关键实体提取等等。在情感分析中，除了常见的商品情感二分类以外，还需要对同一个商品进行多维度情感分析，比如商品价格、商品质量、商品外观等。可见，在金融领域NLP任务具有任务庞杂、异构等特点。

在常见的解决方案中，算法工程师一般会针对每一类问题，量身定做相应的模型，同时进行各种魔改。这会导致大量的时间和精力消耗在了模型选择和测试中，同时，对于金融领域这类垂直领域的问题，往往还面临着低资源的困境，主要体现在三个方面：少样本，即数据搜集的成本很高，由于很多问题和具体业务场景有关系，因此能够搜集到的数据总量有限；少标注，即数据标注成本很高，对于金融领域的问题，数据标注往往需要金融分析师的深度参与，这极大增加数据标注的成本；少机器资源，出于合规、安全的考虑，很多算法需要私有化部署在金融机构的内网中，因而相对缺少机器资源，尤其是图形处理器(Graphics Processing Unit,GPU)之类的资源。

为了解决上述问题，现有的技术方案中引入深度学习。深度学习的模型训练分为两种策略：一种是白手起家从头搭建模型进行训练，一种是通过预训练模型进行训练。在训练阶段，通常会采用迁移学习的思想，预训练模型+目标任务微调(Fine-tune)，这也是自然语言处理的新范式。以BERT为代表的深度预训练模型在11个自然语言理解任务上刷新了最好成绩，包括文本分类、命名实体识别、问答等几乎所有的子领域达到了新的最前沿水平(state of the art)。作为通用的预训练模型，BERT的出现也显著地减轻NLP算法工程师在具体应用中的繁重工作，由以往的魔改网络转变为Fine tune BERT，即可快速获得性能优秀的基线模型。

但上述技术方案存续以下缺陷：

1、当前开源的各类中文领域的深度预训练模型，多是面向通用领域的应用需求，在中文金融领域内没有看到相关开源模型。开源BERT模型在金融领域任务上表现不佳，有些任务甚至不如部分轻量级的模型，要达到很好的效果，就需要标注很多数据，而标注数据的成本很高；

2、BERT12层Transformer网络参数量大，前向计算耗时，模型压测时间超标，上线部署困难。BERT模型部署对服务器配置要求比较高，需要GPU服务器才可以工作；

3、在金融领域，任务庞大，没有好的基线模型，就需要花费很多时间进行实验尝试，有时候还会走弯路，浪费很多时间和经历。