[发明专利]一种基于混合特征的中文文档基因提取方法有效
申请号: | 201610434439.4 | 申请日: | 2016-06-19 |
公开(公告)号: | CN107526719B | 公开(公告)日: | 2020-10-09 |
发明(设计)人: | 李岩 | 申请(专利权)人: | 北京云量数盟科技有限公司 |
主分类号: | G06F40/205 | 分类号: | G06F40/205;G06F40/279;G06F40/194 |
代理公司: | 北京方安思达知识产权代理有限公司 11472 | 代理人: | 陈琳琳;杨青 |
地址: | 100012 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 混合 特征 中文 文档 基因 提取 方法 | ||
1.一种基于混合特征的中文文档基因提取方法,其步骤包括:
定义由文档载体特征、文档属性特征、文档内容特征的28种混合特征组成的文档基因表征;对混合特征中的每个特征执行具体的特征提取算法;
文档载体特征包括文件名称、文件大小、文件创建时间、文件修改时间和文件哈希值特征;文件哈希值包括MD5、SHA1、SHA265和SHA512;
文档属性特征包括固有属性和统计属性,固有属性包括文档类型、文档标题、文档类别、文档备注、文档作者、文档修订号和文档最后一次保存者,统计属性包括文档字数、文档句数和文档段数;
文档内容特征包括语义要素和顺序关系,语义要素包括摘要、分词、关键词、命名实体识别、依存句法分析和局部敏感哈希,局部敏感哈希包括MinHash和SimHash,顺序关系包括段间顺序和句间顺序;
计算顺序关系特征的计算步骤包括:
使用成熟的短语提取方法,对文档进行短语提取,形成一个文档短语集合;对文档进行分段和分句,形成段落集合和句子集合;在每个段落和每个句子中,查找提取短语,并按照短语在段落或者句子中出现的顺序,为每个段落和句子形成一个短语顺序组合;去掉短语顺序组合长度为0的段落和句子,剩下的段落和句子称之为关键段和关键句;使用短语顺序组合来标识对应的关键段或者对应的关键句;通过关键段或者关键句在文档中的出现的顺序,赋予对应的短语顺序组合相应的顺序数值,此数值越小代表关键段或者关键句在文档的位置越靠前;通过短语顺序组合和顺序数值形成关键段落或者关键句子的顺序关系。
2.如权利要求1所述的方法,其特征在于:生成中文文档基因的计算步骤包括:
28种具体特征提取与计算;顺序组成混合特征生成中文文档基因。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京云量数盟科技有限公司,未经北京云量数盟科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610434439.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:使用低精度格式的张量处理
- 下一篇:意思生成方法、意思生成装置以及程序