[发明专利]基于BERT的智慧政务文本多分类方法及系统

说明书

本发明属于文本分类领域，提供了一种基于BERT的智慧政务文本多分类方法及系统。其中，基于BERT的智慧政务文本多分类方法包括获取政务文本并转换为特征向量，所述特征向量由词向量、分段向量和位置向量组成，同时标记文本中每句话的开头和结尾；将特征向量输入至训练完成的BERT模型中，输出政务文本的分类结果；其中，在训练BERT模型的过程中，采用双向Transformer编码中的Encoder特征抽取器提取特征向量中的文本特征。

技术领域

本发明属于文本分类领域，尤其涉及一种基于BERT的智慧政务文本多分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在处理网络问政平台的群众留言时，对留言进行分类，以便后续将群众留言分派至相应的职能部门。目前，大部分电子政务系统还是依靠人工根据经验处理，存在工作量大、效率低，且差错率高等问题。

发明人发现，现有的文本分类大多使用词向量，且词向量大多采用Word2Vec、GloVe等方法训练得到，其存在的问题是训练得到文本的词向量不仅忽略了词的上下文关系，而且部分文本中词语的数量较多而训练速度较慢且准确率受到切词(即将一个汉字序列切分成一个一个单独的词)的影响。

发明内容

为了解决上述问题，本发明提供一种基于BERT的智慧政务文本多分类方法及系统，其能够快速准确地对政务文本进行分类。其中，BERT全称是来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers)，是语言模型。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一方面提供一种基于BERT的智慧政务文本多分类方法。

一种基于BERT的智慧政务文本多分类方法，包括：

获取政务文本并转换为特征向量，所述特征向量由词向量、分段向量和位置向量组成，同时标记文本中每句话的开头和结尾；

将特征向量输入至训练完成的BERT模型中，输出政务文本的分类结果；

其中，在训练BERT模型的过程中，采用双向Transformer编码中的Encoder特征抽取器提取特征向量中的文本特征。

本发明的第二个方面提供一种基于BERT的智慧政务文本多分类系统。

一种基于BERT的智慧政务文本多分类系统，包括：

特征转换模块，其用于获取政务文本并转换为特征向量，所述特征向量由词向量、分段向量和位置向量组成，同时标记文本中每句话的开头和结尾；

本文分类模块，其用于将特征向量输入至训练完成的BERT模型中，输出政务文本的分类结果；

其中，在训练BERT模型的过程中，采用双向Transformer编码中的Encoder特征抽取器提取特征向量中的文本特征。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于BERT的智慧政务文本多分类方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于BERT的智慧政务文本多分类方法中的步骤。

与现有技术相比，本发明的有益效果是：