[发明专利]海量文本中低占比信息识别方法及装置有效

专利信息
申请号: 201511002761.1 申请日: 2015-12-28
公开(公告)号: CN105653649B 公开(公告)日: 2019-05-21
发明(设计)人: 倪时龙;苏江文;吴飞;王秋琳;宋立华 申请(专利权)人: 福建亿榕信息技术有限公司
主分类号: G06F16/951 分类号: G06F16/951
代理公司: 福州市景弘专利代理事务所(普通合伙) 35219 代理人: 林祥翔;吕元辉
地址: 350000 福建省福*** 国省代码: 福建;35
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 海量 文本 中低占 信息 识别 方法 装置
【权利要求书】:

1.一种海量文本中低占比信息识别方法,其特征在于,包括如下步骤,将素材信息分为训练信息和测试信息,将所述素材信息通过特征选择、向量化处理转化成可分析的数学矩阵,代入集成学习模型进行模型训练,所述集成学习模型为至少两个机器学习算法模型的加权集成;

所述模型训练包括步骤,根据训练信息构建第一分析模型;

将测试信息代入第一分析模型,对所述第一分析模型的运行效果进行评估,得到评估值,根据评估值调整第一分析模型中各算法的训练信息分配权重得到新的分析模型;

将测试信息代入新的分析模型,对新的分析模型的运行效果进行评估,得到新的评估值,若所述新的评估值未收敛,则根据新的评估值再次调整新的分析模型中各算法的训练信息分配权重得到新的分析模型,再次进行评估判断;若新的评估值收敛,中止判断,新的分析模型作为优选分析模型;

将优选分析模型部署应用,对目标信息进行识别分析。

2.根据权利要求1所述的海量文本中低占比信息识别方法,其特征在于,将素材信息分为训练信息和测试信息后还包括步骤,将待识别素材额外添加到测试信息中。

3.根据权利要求1所述的海量文本中低占比信息识别方法,其特征在于,所述目标信息或素材信息包括噪音素材和待识别素材,在目标信息中,噪音素材与待识别素材的比值大于50。

4.根据权利要求1所述的海量文本中低占比信息识别方法,其特征在于,所述第一分析模型包括SVM、kNN、multinomial_nb、Bernoulli_nb、NearestCentroid、Ridge算法中的至少两种。

5.一种海量文本中低占比信息识别装置,其特征在于,包括素材处理模块、模型构建模块、评估判断模块、模型应用模块,

所述素材处理模块用于将素材信息分为训练信息和测试信息,将所述素材信息通过特征选择、向量化处理转化成可分析的数学矩阵,代入集成学习模型进行模型训练,所述集成学习模型为至少两个机器学习算法模型的加权集成;

所述模型构建模块用于根据训练信息构建第一分析模型;

所述评估判断模块用于将测试信息代入第一分析模型,对所述第一分析模型的运行效果进行评估,得到评估值,所述模型构建模块还用于根据评估值调整第一分析模型中各算法的训练信息分配权重得到新的分析模型;

所述评估判断模块还用于将测试信息代入新的分析模型,对新的分析模型的运行效果进行评估,得到新的评估值;

所述模型构建模块还用于在新的评估值未收敛时,则根据新的评估值再次调整新的分析模型中各算法的训练信息分配权重得到新的分析模型,使能评估判断模块再次进行评估判断;还用于在新的评估值收敛时,将新的分析模型作为优选分析模型;

所述模型应用模块用于将优选分析模型部署应用,对目标信息进行识别分析。

6.根据权利要求5所述的海量文本中低占比信息识别装置,其特征在于,所述素材处理模块还用于将待识别素材额外添加到测试信息中。

7.根据权利要求5所述的海量文本中低占比信息识别装置,其特征在于,所述目标信息或素材信息包括噪音素材和待识别素材,在目标信息中,噪音素材与待识别素材的比值大于50。

8.根据权利要求5所述的海量文本中低占比信息识别装置,其特征在于,所述第一分析模型包括SVM、kNN、multinomial_nb、Bernoulli_nb、NearestCentroid、Ridge算法中的至少两种。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于福建亿榕信息技术有限公司,未经福建亿榕信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201511002761.1/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code