[发明专利]一种基于文本内容的长词识别方法及系统有效

专利信息
申请号: 201611266756.6 申请日: 2016-12-31
公开(公告)号: CN106709370B 公开(公告)日: 2019-10-29
发明(设计)人: 魏效征;王志海;喻波;张静;徐军帅;安鹏;牛立伟 申请(专利权)人: 北京明朝万达科技股份有限公司
主分类号: G06F21/62 分类号: G06F21/62;G06F17/27;G06F16/35
代理公司: 暂无信息 代理人: 暂无信息
地址: 100097 北京市海淀*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 长词 文档 先验 文本内容 频率向量 文档类别 预处理 矩阵 词语识别 文档向量 重新构造 词组 分类器 分档 向量 词语 判定 分类 保证 安全
【说明书】:

本发明公开了一种基于文本内容的长词识别方法及系统,该方法包括以下步骤:对先验文档进行预处理,从中提取需要识别的文本内容;提取所述文本内容中的词语,对超过长度阈值的词语识别为特征长词;以选择出的所述特征长词为基准,获得特征长词组在每个先验文档中的出现频率,从而生成每个先验文档的特征长词频率向量,由多个先验文档的特征长词频率向量构成T‑D矩阵;计算所述向量间的距离,根据LSA的方法确定文档类别,对所述文档类别进行标记;选择出能代表所述文档的特征长词;用选择出的所述特征长词重新构造文档向量,将训练好的分类器判定新接收文档的类别。通过该发明的方案,提高了分档分类的效率和准确性,保证了文档的安全。

技术领域

本发明涉及数据安全领域,具体涉及一种基于文本内容的长词识别方法及系统。

背景技术

近年来,由于企业内部电子数据的格式及其存储形式的日益多样化,企业敏感数据泄露的风险急剧增加,因此企业对自有敏感数据或文档的防外泄工作日益重视。要实现对企业文档的有效防护,需要先对企业文档进行分类。企业文档数量大,只有适当的分类后,才能根据每类文档制定出合适的策略和规则。但是,文本分类的方法虽多种多样,分类结果的准确性却严重依赖于文本特征。如果选择出的文本特征区分度好,文本分类的结果不但类别数准确,属于每一类的文档边界也不容易产生重叠。因此,如何选择区分度好的文本特征,并使用这些特征进行分类或归类,是实现企业文档数据安全的核心内容。

现有技术中的专利技术:

专利文献1:《一种文本特征提取系统和方法》,申请号:201410491458.1,申请日:2014年09月24日;

专利文献2:《提取文本特征的装置和方法》,申请号:201510193912.X,申请日:2015年04月22日;

专利文献3:《一种短文本特征提取方法》,申请号:201510449415.1,申请日: 2015年07月28日。

专利文献1中,对于特征词库中的特征词Fi,根据预先建立的样本库中包含所述特征词Fi的样本中该特征词Fi的出现次数以及包含该特征词Fi的样本所具有的标签,确定该特征词Fi与标签库中的每个标签之间的互信息;对目标文档进行分词,获得所述目标文档中出现的所有特征词;基于目标文档中的每个特征词与每个标签之间的互信息,确定所述目标文档中的每个特征词对每个标签的权重,将所述目标文档中的所有特征词对同一个标签的权重进行加权,得到所述目标文档中的所有特征词对同一个标签的总权重;根据各个标签的所述总权重,从所述各个标签中确定出目标标签作为所述目标文档的文本特征。

专利文献2中,提到了一种提取文本特征的装置,包括:分词单元,被配置为对输入文档进行分词得到多个词、每个词的词性和每个词与其相邻词的词性组合;重要性计算单元,被配置为计算每个词的重要程度;词性权重计算单元,被配置为计算每个词的词性的权重;词性组合权重计算单元,被配置为计算每个词与其相邻词的词性组合的权重;以及文本特征提取单元,被配置为对于每个词,根据其重要程度、词性的权重以及词性组合的权重来提取该词的文本特征。

专利文献3中,基于知识库和句法分析方法对短文本进行特征提取,通过计算各个话题的权值,用话题向量作为短文本最终的特征向量,以解决短文本特征稀疏和短文本主题不明确的问题。

可见,目前现有的文本特征提取实现方案,能从词语的词性、语义、主题等方面来选择文本特征。不论是词性、语义还是主题分析,都是选定既定字典,对文本切词,按照词性、语义或者主题来计算词语的权值。

因此,现有技术存在以下技术问题:

(1)忽视长词在文本分类和归类中的显著作用。

(2)语义分析、词性分析、主题分析等方法的智能效果好,适合训练样本数量多,对分类和归类的精确度要求不高的场合,但不适合数据安全领域。在数据安全领域,需要归类和分类的文本种类少、样本规模小,但对精确度要求高。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京明朝万达科技股份有限公司,未经北京明朝万达科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201611266756.6/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top