[发明专利]一种自适应架构语义分布文本理解方法及系统

说明书

本发明涉及一种自适应架构语义分布文本理解方法及系统，该自适应架构语义分布文本理解系统包括的主要模块有文本基础编码器、语义关联关键分布表示模块、架构自适应分类网络模块。本发明利用语义关联关键分布表示模块中的上下文多头注意力语义分布表示，可以更好的利用上下文信息，消除上下文表述的歧义问题；同时通过关键信息多头注意力语义分布表示，可以提取关键词、短语等关键信息，解决细分领域关键信息对分类任务敏感的问题。而架构自适应分类网络模块，可根据分类类别的相近程度自适应的选择分类网络层，从而使相近的分类共用权重参数，分类类别相差较大的分类不共用权重，从而能更好的解决分类类别无法完全独立的问题。

技术领域

本发明涉及自然语言文本分类处理领域，尤其涉及一种自适应架构语义分布文本理解方法及系统。

背景技术

在信息爆炸的互联网时代，任何网站都需要处理大量的文本数据，对信息的归类和结构化处理是必不可少的，而人工手动处理已完全无法满足互联网时代的效率要求，作为自然语言处理的最基础任务——文本分类，显得重要且不可缺少。文本的自动分类能对大量的信息进行归纳与浓缩，进一步结构化文本信息，节省了人力和时间成本，提高对目标信息的关注度，从而提高信息的处理速度和决策效率。

文本分类普遍的应用包括新闻的分类、评论的情感分类、对话的意图识别等方面。文本分类方法主要分为两大类，一是基于传统机器学习的方法，二是基于深度学习的方法。使用深度学习的方式进行文本分类是目前的优先选择，特别是在预训练语言模型盛行的时代。对于很多应用场景，不存在大量的标注语料，预训练模型，如BERT，Robert等，都能表现出不错的效果。然而，在细分领域，专有名称和短语等关键信息对分类任务的影响是非常大的，细分领域的标注语料却非常少，很难获取大批量数据来训练；而预训练模型虽然能通过通用领域大数据量的预训练来弥补这方面的不足，但通用领域的语料往往针对性不足，而这些关键信息对分类任务又是极度敏感的。所以预训练模型在这种情况下一般表现不好。另外，对于文本分类任务，很多时候是无法保证分类的类别之间是完全独立的情况，特别是根据业务场景定义的分类任务，往往都是有业务倾向的对问题文本的归类，选择性的忽略分类任务类别定义在算法上的独立性和等粒度性。比如意图识别问题，A意图和B意图比较相近，A意图和C意图却相差较大，但业务场景却希望同等重视这三个意图。在这种情况下，预训练等分类模型往往表现不佳。

发明内容

本发明正是针对上述问题，提出一种自适应架构语义分布文本理解方法及系统。

为实现上述目的，本发明的具体技术方案如下：

一种自适应架构语义分布文本理解方法，包括步骤：

通过文本基础编码器模块对输入文本进行编码，获得文本特征表示；

通过语义关联关键分布表示模块将所述文本特征表示进行多头注意力机制处理，形成所述文本特征表示的自注意力表示；

通过架构自适应分类网络模块对所述文本特征表示的自注意力表示进行自动选择分类网络，实现最后的分类。

本发明还提供一种自适应架构语义分布文本理解系统，包括：文本基础编码器模块、语义关联关键分布表示模块、架构自适应分类网络模块；

所述文本基础编码器模块对输入文本进行编码，获得文本特征表示；

所述语义关联关键分布表示模块将所述文本特征表示进行多头注意力机制处理，形成所述文本特征表示的自注意力表示；

所述架构自适应分类网络模块对所述文本特征表示的自注意力表示进行自动选择分类网络，实现最后的分类。

上述自适应架构语义分布文本理解方法及系统的技术方案中：

优选地，所述文本基础编码器模块采用BERT预训练语言模型进行编码。