[发明专利]一种基于混合特征的中文文档基因提取方法

说明书

本发明涉及一种基于混合特征的中文文档基因提取方法。该方法针对中文文档格式，面向文档逃避检查场景，提出了文档载体特征、属性特征、内容特征融合的混合特征，首次将顺序关系引入内容特征，作为内容特征的有效补充，并最终形成一种相对层次清晰的文档基因表征。基于该基因表征，进一步提出了基于短语特征提取的顺序关系特征提取方法，并对混合特征中的其他特征提出了可操作的特征提取方法。基于本发明混合特征提取的文档基因，对降低文档分析的时间复杂度、防逃避检查具有重要帮助作用，可实现性和实用性较强。

技术领域

本发明属于自然语言处理、格式文档处理和特征选择与提取领域，具体涉及一种基于混合特征的中文文档基因提取方法。

背景技术

互联网高速、海量的数据中包含着错综复杂、种类繁多的文档。同一个文档在互联网传播的过程中，会存在对文档内容进行增删等部分修改的情况，也就产生了针对相同内容的文档变种。这对文档的匹配、溯源和传播分析等问题都造成了一定程度的障碍和挑战。

文档基因是解决上述问题的一个重要技术手段，它主要指通过对文档抽取若干特征并进行有效组合，形成为文档本质刻画的相对唯一的表征。目前对文档基因的特征分类，主要有几种：第一类是文档载体特征，主要指文件名称、文件大小、文件创建时间、文件修改时间和文件哈希值（包括MD5、SHA1、SHA265和SHA512）等特征；第二类是文档属性特征，主要指固有属性和统计属性，固有属性包括文档类型、文档标题、文档类别、文档备注、文档作者、文档修订号和文档最后一次保存者，统计属性包括文档字数、文档句数和文档段数；第三类是文档内容特征，主要是指摘要、分词、关键词、短语、命名实体、依存句法和局部敏感哈希（包括MinHash和SimHash）。

由于具体应用的不同，目前存在的文档基因特征或是单独使用上述单独的特征类，或是融合几个类的特征，但是均没有在内容特征中引入对段落和句子顺序关系的考虑。然而在部分实际应用中，特别在通过调整段落或者句子顺序逃避文档检查的场景中，以上顺序关系是可以有效识别与区分的重要特征。

因此，本发明针对中文文档格式（不考虑图片），面向文档逃避检查场景，提出了文档载体特征、属性特征、内容特征融合的混合特征，特别是首次将顺序关系引入内容特征，作为内容特征的有效补充，并最终形成一种相对层次清晰的文档特征体系。其中，顺序关系特征的提取方法是在成熟的短语提取方法基础上定义和提出的，具有可操作性。基于本发明混合特征提取的文档基因，对降低文档分析的时间复杂度、防逃避检查具有重要帮助作用，可实现性和实用性较强。

发明内容

本发明针对中文文档格式（不考虑图片），面向文档逃避检查场景，提出了文档载体特征、属性特征、内容特征融合的混合特征，特别是首次将顺序关系引入内容特征，作为内容特征的有效补充，并最终形成一种相对层次清晰的文档特征体系。其中，顺序关系特征的提取方法是在成熟的短语提取方法基础上定义和提出的，具有可操作性。基于本发明混合特征提取的文档基因，对降低文档分析的时间复杂度、防逃避检查具有重要帮助作用，可实现性和实用性较强。

本发明的内容主要包括以下几个方面：

第一，在文档特征提取上，本发明提出了基于顺序关系的文档内容特征表征，并进一步提出了由文档载体特征、文档属性特征、文档内容特征的混合特征组成的文档基因表征。文档载体特征包括文件名称、文件大小、文件创建时间、文件修改时间和文件哈希值（包括MD5、SHA1、SHA265和SHA512）特征。文档属性特征包括固有属性和统计属性，固有属性包括文档类型、文档标题、文档类别、文档备注、文档作者、文档修订号和文档最后一次保存者，统计属性包括文档字数、文档句数和文档段数。文档内容特征包括语义要素和顺序关系，语义要素包括摘要、分词、短语、关键词、命名实体、依存句法和局部敏感哈希（包括MinHash和SimHash），顺序关系包括段间顺序和句间顺序。

第二，提出了基于短语特征提取的顺序关系特征提取方法，并进一步对混合特征中的其他特征提出了具体的特征提取方法，使得所有特征提取方法可实施可操作。