[发明专利]一种文档内容分类的方法、装置、存储介质及电子设备有效
申请号: | 201910650450.8 | 申请日: | 2019-07-18 |
公开(公告)号: | CN110347841B | 公开(公告)日: | 2021-07-02 |
发明(设计)人: | 任翔远 | 申请(专利权)人: | 北京香侬慧语科技有限责任公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 丁曼曼 |
地址: | 100080 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文档 内容 分类 方法 装置 存储 介质 电子设备 | ||
1.一种文档内容分类的方法,其特征在于,包括:
获取待分类的、包含多个文本数据的文档内容,并确定每个所述文本数据在所述文档内容中的位置信息;
确定所述文本数据的字体和字号,并生成所述文本数据的字体离散编码和字号离散编码;
根据所述文本数据的所述位置信息、所述字体离散编码和所述字号离散编码生成所述文本数据的扩展特征;
对所述文本数据进行分词处理,并确定所述文本数据的每个分词的词向量,基于循环神经网络确定所述文本数据的语义信息;
基于所述扩展特征和所述语义信息生成所述文本数据的深层特征,并根据所述深层特征确定所述文本数据所属的类别;
其中,所述生成所述文本数据的字体离散编码和字号离散编码包括:
确定所述文档内容包含的字体种类数量m和字号种类数量n;
根据所述文本数据的字体和字号生成所述文本数据的m位的字体离散编码和n位的字号离散编码;其中,所述字体离散编码的每一位对应一种字体,且在所述字体离散编码中与所述文本数据的字体相对应的位为字体有效位,所述字体离散编码中除所述字体有效位之外的其他位均为零;所述字号离散编码的每一位对应一种字号,且在所述字号离散编码中与所述文本数据的字号相对应的位为字号有效位,所述字号离散编码中除所述字号有效位之外的其他位均为零。
2.根据权利要求1所述的方法,其特征在于,所述生成所述文本数据的扩展特征包括:
将所述位置信息、所述字体离散编码和所述字号离散编码进行拼接处理,生成包含所述位置信息、所述字体离散编码和所述字号离散编码的拼接特征;基于预先训练好的编码器将所述拼接特征重构为所述文本数据的扩展特征。
3.根据权利要求1所述的方法,其特征在于,所述根据所述深层特征确定所述文本数据所属的类别包括:
将所述深层特征分别作为多个不同的分类器的输入,并分别确定每个所述分类器的输出,所述分类器的输出包括所述文本数据属于每一种类别的概率;
对所有的所述分类器的输出进行线性回归处理,根据线性回归结果确定所述文本数据所属的类别。
4.根据权利要求1-3任一所述的方法,其特征在于,所述类别包括标题类别;
在所述根据所述深层特征确定所述文本数据所属的类别之后,还包括:
将所述文档内容中属于所述标题类别的文本数据作为标题文本数据,并对所述文档内容中所有的所述标题文本数据进行聚类处理;
根据所述聚类处理的结果确定所述文档内容包含的标题级别,并确定每个所述标题文本数据的标题级别。
5.一种文档内容分类的装置,其特征在于,包括:
获取模块,用于获取待分类的、包含多个文本数据的文档内容,并确定每个所述文本数据在所述文档内容中的位置信息;
离散编码模块,用于确定所述文本数据的字体和字号,并生成所述文本数据的字体离散编码和字号离散编码;
扩展特征生成模块,用于根据所述文本数据的所述位置信息、所述字体离散编码和所述字号离散编码生成所述文本数据的扩展特征;
语义信息生成模块,用于对所述文本数据进行分词处理,并确定所述文本数据的每个分词的词向量,基于循环神经网络确定所述文本数据的语义信息;
分类模块,用于基于所述扩展特征和所述语义信息生成所述文本数据的深层特征,并根据所述深层特征确定所述文本数据所属的类别;
其中,所述离散编码模块包括:
种类数量确定单元,用于确定所述文档内容包含的字体种类数量m和字号种类数量n;
离散编码单元,用于根据所述文本数据的字体和字号生成所述文本数据的m位的字体离散编码和n位的字号离散编码;其中,所述字体离散编码的每一位对应一种字体,且在所述字体离散编码中与所述文本数据的字体相对应的位为字体有效位,所述字体离散编码中除所述字体有效位之外的其他位均为零;所述字号离散编码的每一位对应一种字号,且在所述字号离散编码中与所述文本数据的字号相对应的位为字号有效位,所述字号离散编码中除所述字号有效位之外的其他位均为零。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京香侬慧语科技有限责任公司,未经北京香侬慧语科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910650450.8/1.html,转载请声明来源钻瓜专利网。
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法