[发明专利]一种文档内容分类的方法、装置、存储介质及电子设备

说明书

本发明提供了一种文档内容分类的方法、装置、存储介质及电子设备，其中，该方法包括：确定每个文本数据在文档内容中的位置信息，并生成文本数据的字体离散编码和字号离散编码；根据文本数据的位置信息、字体离散编码和字号离散编码生成文本数据的扩展特征；基于循环神经网络确定文本数据的语义信息；基于扩展特征和语义信息生成文本数据的深层特征，并根据深层特征确定文本数据所属的类别。通过本发明实施例提供的文档内容分类的方法、装置、存储介质及电子设备，可以挖掘文本数据的深层特征，可以解决在数据挖掘分类时的维度灾难问题；且采用具有离散特征的字体离散编码和字号离散编码，有利于区分不同的字体和字号。

技术领域

本发明涉及文档分类的技术领域，具体而言，涉及一种文档内容分类的方法、装置、存储介质及电子设备。

背景技术

随着信息技术的应用和发展，人们撰写创造了越来越多的文档，且文档中的文本内容多样。内容较多的文档一般会分为多个层级，比如目录、标题、正文等。

对于规范的文档，例如word格式的文档，可以比较容易地确定文档的每个层级的文本内容；但是现实是很多文档并没有统一的标准格式。由于文档内容的多样性，难以简单的通过人为总结的规则来判别文档中文本内容类别的问题。传统的方案是靠人工手动分层级；或者，基于文本在文档中的字体、字号等简单特征，对文本内容进行分类。传统方法由于需要人为参与理解并总结文档的内容，不仅效率低，且难以挖掘文档中文本的深层特征。

发明内容

为解决上述问题，本发明实施例的目的在于提供一种文档内容分类的方法、装置、存储介质及电子设备。

第一方面，本发明实施例提供了一种文档内容分类的方法，包括：

获取待分类的、包含多个文本数据的文档内容，并确定每个所述文本数据在所述文档内容中的位置信息；

确定所述文本数据的字体和字号，并生成所述文本数据的字体离散编码和字号离散编码；

根据所述文本数据的所述位置信息、所述字体离散编码和所述字号离散编码生成所述文本数据的扩展特征；

对所述文本数据进行分词处理，并确定所述文本数据的每个分词的词向量，基于循环神经网络确定所述文本数据的语义信息；

基于所述扩展特征和所述语义信息生成所述文本数据的深层特征，并根据所述深层特征确定所述文本数据所属的类别。

在一种可能的实现方式中，所述生成所述文本数据的字体离散编码和字号离散编码包括：

确定所述文档内容包含的字体种类数量m和字号种类数量n；

根据所述文本数据的字体和字号生成所述文本数据的m位的字体离散编码和n位的字号离散编码；其中，所述字体离散编码的每一位对应一种字体，且在所述字体离散编码中与所述文本数据的字体相对应的位为字体有效位，所述字体离散编码中除所述字体有效位之外的其他位均为零；所述字号离散编码的每一位对应一种字号，且在所述字号离散编码中与所述文本数据的字号相对应的位为字号有效位，所述字号离散编码中除所述字号有效位之外的其他位均为零。

在一种可能的实现方式中，所述生成所述文本数据的扩展特征包括：

将所述位置信息、所述字体离散编码和所述字号离散编码进行拼接处理，生成包含所述位置信息、所述字体离散编码和所述字号离散编码的拼接特征；基于预先训练好的编码器将所述拼接特征重构为所述文本数据的扩展特征。

在一种可能的实现方式中，所述根据所述深层特征确定所述文本数据所属的类别包括：

将所述深层特征分别作为多个不同的分类器的输入，并分别确定每个所述分类器的输出，所述分类器的输出包括所述文本数据属于每一种类别的概率；