[发明专利]一种基于文本内容的长词识别方法及系统有效
申请号: | 201611266756.6 | 申请日: | 2016-12-31 |
公开(公告)号: | CN106709370B | 公开(公告)日: | 2019-10-29 |
发明(设计)人: | 魏效征;王志海;喻波;张静;徐军帅;安鹏;牛立伟 | 申请(专利权)人: | 北京明朝万达科技股份有限公司 |
主分类号: | G06F21/62 | 分类号: | G06F21/62;G06F17/27;G06F16/35 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100097 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 长词 文档 先验 文本内容 频率向量 文档类别 预处理 矩阵 词语识别 文档向量 重新构造 词组 分类器 分档 向量 词语 判定 分类 保证 安全 | ||
本发明公开了一种基于文本内容的长词识别方法及系统,该方法包括以下步骤:对先验文档进行预处理,从中提取需要识别的文本内容;提取所述文本内容中的词语,对超过长度阈值的词语识别为特征长词;以选择出的所述特征长词为基准,获得特征长词组在每个先验文档中的出现频率,从而生成每个先验文档的特征长词频率向量,由多个先验文档的特征长词频率向量构成T‑D矩阵;计算所述向量间的距离,根据LSA的方法确定文档类别,对所述文档类别进行标记;选择出能代表所述文档的特征长词;用选择出的所述特征长词重新构造文档向量,将训练好的分类器判定新接收文档的类别。通过该发明的方案,提高了分档分类的效率和准确性,保证了文档的安全。
技术领域
本发明涉及数据安全领域,具体涉及一种基于文本内容的长词识别方法及系统。
背景技术
近年来,由于企业内部电子数据的格式及其存储形式的日益多样化,企业敏感数据泄露的风险急剧增加,因此企业对自有敏感数据或文档的防外泄工作日益重视。要实现对企业文档的有效防护,需要先对企业文档进行分类。企业文档数量大,只有适当的分类后,才能根据每类文档制定出合适的策略和规则。但是,文本分类的方法虽多种多样,分类结果的准确性却严重依赖于文本特征。如果选择出的文本特征区分度好,文本分类的结果不但类别数准确,属于每一类的文档边界也不容易产生重叠。因此,如何选择区分度好的文本特征,并使用这些特征进行分类或归类,是实现企业文档数据安全的核心内容。
现有技术中的专利技术:
专利文献1:《一种文本特征提取系统和方法》,申请号:201410491458.1,申请日:2014年09月24日;
专利文献2:《提取文本特征的装置和方法》,申请号:201510193912.X,申请日:2015年04月22日;
专利文献3:《一种短文本特征提取方法》,申请号:201510449415.1,申请日: 2015年07月28日。
专利文献1中,对于特征词库中的特征词Fi,根据预先建立的样本库中包含所述特征词Fi的样本中该特征词Fi的出现次数以及包含该特征词Fi的样本所具有的标签,确定该特征词Fi与标签库中的每个标签之间的互信息;对目标文档进行分词,获得所述目标文档中出现的所有特征词;基于目标文档中的每个特征词与每个标签之间的互信息,确定所述目标文档中的每个特征词对每个标签的权重,将所述目标文档中的所有特征词对同一个标签的权重进行加权,得到所述目标文档中的所有特征词对同一个标签的总权重;根据各个标签的所述总权重,从所述各个标签中确定出目标标签作为所述目标文档的文本特征。
专利文献2中,提到了一种提取文本特征的装置,包括:分词单元,被配置为对输入文档进行分词得到多个词、每个词的词性和每个词与其相邻词的词性组合;重要性计算单元,被配置为计算每个词的重要程度;词性权重计算单元,被配置为计算每个词的词性的权重;词性组合权重计算单元,被配置为计算每个词与其相邻词的词性组合的权重;以及文本特征提取单元,被配置为对于每个词,根据其重要程度、词性的权重以及词性组合的权重来提取该词的文本特征。
专利文献3中,基于知识库和句法分析方法对短文本进行特征提取,通过计算各个话题的权值,用话题向量作为短文本最终的特征向量,以解决短文本特征稀疏和短文本主题不明确的问题。
可见,目前现有的文本特征提取实现方案,能从词语的词性、语义、主题等方面来选择文本特征。不论是词性、语义还是主题分析,都是选定既定字典,对文本切词,按照词性、语义或者主题来计算词语的权值。
因此,现有技术存在以下技术问题:
(1)忽视长词在文本分类和归类中的显著作用。
(2)语义分析、词性分析、主题分析等方法的智能效果好,适合训练样本数量多,对分类和归类的精确度要求不高的场合,但不适合数据安全领域。在数据安全领域,需要归类和分类的文本种类少、样本规模小,但对精确度要求高。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京明朝万达科技股份有限公司,未经北京明朝万达科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611266756.6/2.html,转载请声明来源钻瓜专利网。