[发明专利]文本分类方法、装置、存储介质及计算机设备

说明书

本发明提出一种文本分类方法、装置、存储介质及计算机设备，文本为中文文本，该方法包括获得文本；对文本进行编码得到五笔字形编码；根据五笔字形编码，结合XLNet模型确定文本中各子文本之间的特征信息，特征信息用于描述各子文本之间的上下文信息，XLNet模型已学习得到多个样本子文本的样本字形编码，以及多个样本子文本之间的特征信息的对应关系；根据各子文本之间的特征信息，结合第一神经网络模型对文本进行分类。通过本发明由于在分类的过程中采用五笔字形编码描述中文文本的五笔字根之间的特征，由此能够在对中文文本进行分类时获得较好的适用性以及中文文本分类效果。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种文本分类方法、装置、存储介质及计算机设备。

背景技术

在自然语言处理技术领域中，通常会执行一些文本分类任务从而辅助如信息检索，新闻主题分类，垃圾邮件分类、情感分析、自动问答系统中的问句分类等。而文本分类通常包括三种分类类型：二分类问题，多分类问题以及多标签问题，比如判断邮件是否为垃圾邮件，属于一个二分类问题；比如判断新闻主题是娱乐、体育、还是社会，属于一个多分类问题；比如基于案件事实描述文本的法条分类，属于多标签分类问题。

相关技术中，通常采用TF-IDF、词嵌入池化，或者是CNN(Convolutional NeuralNetworks，神经卷积网络)模型等对文本进行分类。

这种方式下，并不适用于中文文本的分类，分类效果不佳。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种文本分类方法、装置、存储介质及计算机设备，由于在分类的过程中采用五笔字形编码描述中文文本的五笔字根之间的特征，由此能够在对中文文本进行分类时获得较好的适用性以及中文文本分类效果。

本发明第一方面实施例提出的文本分类方法，所述文本为中文文本，包括：获得文本；对所述文本进行编码得到五笔字形编码；根据所述五笔字形编码，结合所述XLNet模型确定所述文本中各子文本之间的特征信息，所述特征信息用于描述各子文本之间的上下文信息，所述XLNet模型已学习得到多个样本子文本的样本字形编码，以及所述多个样本子文本之间的特征信息的对应关系；根据所述各子文本之间的特征信息，结合第一神经网络模型对所述文本进行分类。

本发明第一方面实施例提出的文本分类方法，通过获得文本，对文本进行编码得到五笔字形编码，并根据五笔字形编码，结合XLNet模型确定文本中各子文本之间的特征信息，特征信息用于描述各子文本之间的上下文信息，XLNet模型已学习得到多个样本子文本的样本字形编码，以及多个样本子文本之间的特征信息的对应关系，以及根据各子文本之间的特征信息，结合第一神经网络模型对文本进行分类，由于在分类的过程中采用五笔字形编码描述中文文本的五笔字根之间的特征，由此能够在对中文文本进行分类时获得较好的适用性以及中文文本分类效果。

本发明第二方面实施例提出的文本分类装置，所述文本为中文文本，包括：获取模块，用于获得文本；编码模块，用于对所述文本进行编码得到五笔字形编码；识别模块，用于根据所述五笔字形编码，结合所述XLNet模型确定所述文本中各子文本之间的特征信息，所述特征信息用于描述各子文本之间的上下文信息，所述XLNet模型已学习得到多个样本子文本的样本字形编码，以及所述多个样本子文本之间的特征信息的对应关系；分类模块，用于根据所述各子文本之间的特征信息，结合第一神经网络模型对所述文本进行分类。