[发明专利]海量文本中低占比信息识别方法及装置有效
申请号: | 201511002761.1 | 申请日: | 2015-12-28 |
公开(公告)号: | CN105653649B | 公开(公告)日: | 2019-05-21 |
发明(设计)人: | 倪时龙;苏江文;吴飞;王秋琳;宋立华 | 申请(专利权)人: | 福建亿榕信息技术有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951 |
代理公司: | 福州市景弘专利代理事务所(普通合伙) 35219 | 代理人: | 林祥翔;吕元辉 |
地址: | 350000 福建省福*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 海量 文本 中低占 信息 识别 方法 装置 | ||
1.一种海量文本中低占比信息识别方法,其特征在于,包括如下步骤,将素材信息分为训练信息和测试信息,将所述素材信息通过特征选择、向量化处理转化成可分析的数学矩阵,代入集成学习模型进行模型训练,所述集成学习模型为至少两个机器学习算法模型的加权集成;
所述模型训练包括步骤,根据训练信息构建第一分析模型;
将测试信息代入第一分析模型,对所述第一分析模型的运行效果进行评估,得到评估值,根据评估值调整第一分析模型中各算法的训练信息分配权重得到新的分析模型;
将测试信息代入新的分析模型,对新的分析模型的运行效果进行评估,得到新的评估值,若所述新的评估值未收敛,则根据新的评估值再次调整新的分析模型中各算法的训练信息分配权重得到新的分析模型,再次进行评估判断;若新的评估值收敛,中止判断,新的分析模型作为优选分析模型;
将优选分析模型部署应用,对目标信息进行识别分析。
2.根据权利要求1所述的海量文本中低占比信息识别方法,其特征在于,将素材信息分为训练信息和测试信息后还包括步骤,将待识别素材额外添加到测试信息中。
3.根据权利要求1所述的海量文本中低占比信息识别方法,其特征在于,所述目标信息或素材信息包括噪音素材和待识别素材,在目标信息中,噪音素材与待识别素材的比值大于50。
4.根据权利要求1所述的海量文本中低占比信息识别方法,其特征在于,所述第一分析模型包括SVM、kNN、multinomial_nb、Bernoulli_nb、NearestCentroid、Ridge算法中的至少两种。
5.一种海量文本中低占比信息识别装置,其特征在于,包括素材处理模块、模型构建模块、评估判断模块、模型应用模块,
所述素材处理模块用于将素材信息分为训练信息和测试信息,将所述素材信息通过特征选择、向量化处理转化成可分析的数学矩阵,代入集成学习模型进行模型训练,所述集成学习模型为至少两个机器学习算法模型的加权集成;
所述模型构建模块用于根据训练信息构建第一分析模型;
所述评估判断模块用于将测试信息代入第一分析模型,对所述第一分析模型的运行效果进行评估,得到评估值,所述模型构建模块还用于根据评估值调整第一分析模型中各算法的训练信息分配权重得到新的分析模型;
所述评估判断模块还用于将测试信息代入新的分析模型,对新的分析模型的运行效果进行评估,得到新的评估值;
所述模型构建模块还用于在新的评估值未收敛时,则根据新的评估值再次调整新的分析模型中各算法的训练信息分配权重得到新的分析模型,使能评估判断模块再次进行评估判断;还用于在新的评估值收敛时,将新的分析模型作为优选分析模型;
所述模型应用模块用于将优选分析模型部署应用,对目标信息进行识别分析。
6.根据权利要求5所述的海量文本中低占比信息识别装置,其特征在于,所述素材处理模块还用于将待识别素材额外添加到测试信息中。
7.根据权利要求5所述的海量文本中低占比信息识别装置,其特征在于,所述目标信息或素材信息包括噪音素材和待识别素材,在目标信息中,噪音素材与待识别素材的比值大于50。
8.根据权利要求5所述的海量文本中低占比信息识别装置,其特征在于,所述第一分析模型包括SVM、kNN、multinomial_nb、Bernoulli_nb、NearestCentroid、Ridge算法中的至少两种。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于福建亿榕信息技术有限公司,未经福建亿榕信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201511002761.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于文献内容知识图谱的多层引文推荐方法
- 下一篇:数据库管理方法与装置
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置