[发明专利]二分类模型训练方法、数据分类方法及对应装置在审
申请号: | 201811052418.1 | 申请日: | 2018-09-10 |
公开(公告)号: | CN109213833A | 公开(公告)日: | 2019-01-15 |
发明(设计)人: | 赵红军;覃进学;赵神州;王纯斌 | 申请(专利权)人: | 成都四方伟业软件股份有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06K9/62 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 梁斌 |
地址: | 610000 四川省*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 离散型 二分类 结构化数据 模型训练 训练样本 对应装置 数据分类 正样本 机器学习技术 机器学习算法 编码过程 训练集 替换 灾难 更新 转化 统计 | ||
1.一种二分类模型训练方法,其特征在于,训练集中的训练样本均为结构化数据,所述结构化数据中包括至少一个离散型特征,所述方法包括:
统计所述离散型特征的不同的特征值在所述训练集的正样本中出现的次数;
基于所述离散型特征的特征值出现的次数与所述正样本的总个数的比值,计算所述离散型特征的特征值对应的编码值;
将所述训练样本中的所述离散型特征的特征值替换为对应的所述编码值;
在对所述训练样本中的每个离散型特征都完成特征值替换后,利用更新后的所述训练样本训练二分类模型。
2.根据权利要求1所述的二分类模型训练方法,其特征在于,所述基于所述离散型特征的特征值出现的次数与所述正样本的总个数的比值,计算所述离散型特征的特征值对应的编码值,包括:
利用如下公式计算所述离散型特征的特征值对应的所述编码值
其中,为所述离散型特征f的特征值vi出现的次数,N+为所述正样本的总个数,a为非零的常数,b为任意常数。
3.根据权利要求1所述的二分类模型训练方法,其特征在于,在所述统计所述离散型特征的不同的特征值在所述训练集的正样本中出现的次数之前,所述方法还包括:
在确定任一训练样本中的任一离散型特征的特征值为空值时,对所述训练样本中的所述离散型特征进行预处理,以消除空值。
4.根据权利要求3所述的二分类模型训练方法,其特征在于,所述在确定任一训练样本中的任一离散型特征的特征值为空值时,对所述训练样本中的所述离散型特征进行预处理,以消除空值,包括:
在确定任一训练样本中的任一离散型特征的特征值为空值时,将所述训练样本中的所述离散型特征的特征值设置为第一预设值,其中,所述第一预设值不同于所述离散型特征当前的任一可能的特征值。
5.根据权利要求1所述的二分类模型训练方法,其特征在于,在所述统计所述离散型特征的不同的特征值在所述训练集的正样本中出现的次数之后,以及在所述基于所述离散型特征的特征值出现的次数与所述正样本的总个数的比值,计算所述离散型特征的特征值对应的编码值之前,所述方法还包括:
将所述离散型特征中出现的次数小于预设次数的特征值替换为第二预设值,所述第二预设值不同于所述离散型特征当前的任一可能的特征值;
重新统计所述离散型特征的不同的特征值在所述训练集的正样本中出现的次数。
6.根据权利要求5所述的二分类模型训练方法,其特征在于,在所述利用更新后的所述训练样本训练二分类模型之后,所述方法还包括:
根据所述二分类模型的分类结果更新所述预设次数。
7.根据权利要求1-6中任一项所述的二分类模型训练方法,其特征在于,所述统计所述离散型特征的不同的特征值在所述训练集的正样本中出现的次数,包括:
统计所述离散型特征的不同的特征值在所述训练集的正样本中出现的次数,统计结果存储在二级哈希映射表中,所述二级哈希映射表的第一级存储所述离散型特征的标识,所述二级哈希映射表的第二级存储所述离散型特征的不同的特征值出现的次数。
8.一种数据分类方法,其特征在于,用于对数据样本进行分类,所述数据样本为结构化数据,所述结构化数据中包括至少一个离散型特征,所述方法包括:
获得利用权利要求1-7中任一项所述的方法训练出的二分类模型,以及所述离散型特征的特征值对应的编码值;
将所述数据样本中的所述离散型特征的特征值替换为对应的所述编码值;
在对所述数据样本中的每个离散型特征都完成特征值替换后,将更新后的所述数据样本输入至所述二分类模型进行分类。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都四方伟业软件股份有限公司,未经成都四方伟业软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811052418.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种四维五步法降低用户投诉的方法
- 下一篇:一种基于增强现实的导游方法和系统