[发明专利]一种基于文本内容的长词识别方法及系统

说明书

本发明公开了一种基于文本内容的长词识别方法及系统，该方法包括以下步骤：对先验文档进行预处理，从中提取需要识别的文本内容；提取所述文本内容中的词语，对超过长度阈值的词语识别为特征长词；以选择出的所述特征长词为基准，获得特征长词组在每个先验文档中的出现频率，从而生成每个先验文档的特征长词频率向量，由多个先验文档的特征长词频率向量构成T‑D矩阵；计算所述向量间的距离，根据LSA的方法确定文档类别，对所述文档类别进行标记；选择出能代表所述文档的特征长词；用选择出的所述特征长词重新构造文档向量，将训练好的分类器判定新接收文档的类别。通过该发明的方案，提高了分档分类的效率和准确性，保证了文档的安全。

技术领域

本发明涉及数据安全领域，具体涉及一种基于文本内容的长词识别方法及系统。

背景技术

近年来，由于企业内部电子数据的格式及其存储形式的日益多样化，企业敏感数据泄露的风险急剧增加，因此企业对自有敏感数据或文档的防外泄工作日益重视。要实现对企业文档的有效防护，需要先对企业文档进行分类。企业文档数量大，只有适当的分类后，才能根据每类文档制定出合适的策略和规则。但是，文本分类的方法虽多种多样，分类结果的准确性却严重依赖于文本特征。如果选择出的文本特征区分度好，文本分类的结果不但类别数准确，属于每一类的文档边界也不容易产生重叠。因此，如何选择区分度好的文本特征，并使用这些特征进行分类或归类，是实现企业文档数据安全的核心内容。

现有技术中的专利技术：

专利文献1：《一种文本特征提取系统和方法》，申请号：201410491458.1，申请日：2014年09月24日；

专利文献2：《提取文本特征的装置和方法》，申请号：201510193912.X，申请日：2015年04月22日；

专利文献3：《一种短文本特征提取方法》，申请号：201510449415.1，申请日： 2015年07月28日。

专利文献1中，对于特征词库中的特征词Fi，根据预先建立的样本库中包含所述特征词Fi的样本中该特征词Fi的出现次数以及包含该特征词Fi的样本所具有的标签，确定该特征词Fi与标签库中的每个标签之间的互信息；对目标文档进行分词，获得所述目标文档中出现的所有特征词；基于目标文档中的每个特征词与每个标签之间的互信息，确定所述目标文档中的每个特征词对每个标签的权重，将所述目标文档中的所有特征词对同一个标签的权重进行加权，得到所述目标文档中的所有特征词对同一个标签的总权重；根据各个标签的所述总权重，从所述各个标签中确定出目标标签作为所述目标文档的文本特征。

专利文献2中，提到了一种提取文本特征的装置，包括：分词单元，被配置为对输入文档进行分词得到多个词、每个词的词性和每个词与其相邻词的词性组合；重要性计算单元，被配置为计算每个词的重要程度；词性权重计算单元，被配置为计算每个词的词性的权重；词性组合权重计算单元，被配置为计算每个词与其相邻词的词性组合的权重；以及文本特征提取单元，被配置为对于每个词，根据其重要程度、词性的权重以及词性组合的权重来提取该词的文本特征。

专利文献3中，基于知识库和句法分析方法对短文本进行特征提取，通过计算各个话题的权值，用话题向量作为短文本最终的特征向量，以解决短文本特征稀疏和短文本主题不明确的问题。

可见，目前现有的文本特征提取实现方案，能从词语的词性、语义、主题等方面来选择文本特征。不论是词性、语义还是主题分析，都是选定既定字典，对文本切词，按照词性、语义或者主题来计算词语的权值。

因此，现有技术存在以下技术问题：

(1)忽视长词在文本分类和归类中的显著作用。

(2)语义分析、词性分析、主题分析等方法的智能效果好，适合训练样本数量多，对分类和归类的精确度要求不高的场合，但不适合数据安全领域。在数据安全领域，需要归类和分类的文本种类少、样本规模小，但对精确度要求高。