[发明专利]一种spark下的机器学习快速大规模样本签名方法有效
| 申请号： | 201910983158.8 | 申请日： | 2019-10-16 |
| 公开（公告）号： | CN111079935B | 公开（公告）日： | 2022-10-18 |
| 发明（设计）人： | 胡峰;刘鑫;周耀;王文斌;邓维斌 | 申请（专利权）人： | 重庆邮电大学 |
| 主分类号： | G06N20/00 | 分类号： | G06N20/00;G06K9/62 |
| 代理公司： | 重庆市恒信知识产权代理有限公司 50102 | 代理人： | 刘小红;陈栋梁 |
| 地址： | 400065 重*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明请求保护一种spark下的机器学习快速大规模样本签名方法，涉及数据挖掘技术和计算机信息处理技术。本方法为：1)读入样本数据，将样本数据转换成独有的样本格式；2)对样本数据中的高频特征进行划分，得到FeatureMap；3)设置最大广播数量，根据最大广播数量计算FeatureMap的partition；4)根据partition数量进行循环迭代，分片广播大量特征；5)最后对样本进行格式转换，得到libsvm格式的数据。本发明可以解决模型训练过程中样本签名性能瓶颈的问题，特别适用于在spark集群下训练模型。本发明虽然解决的是样本签名问题，但是由于本方法定制数据结构和分片广播可以很好的避免shuffle从而同样适用于大数据工程中的数据倾斜问题。 | ||
| 搜索关键词： | 一种 spark 机器 学习 快速 大规模 样本 签名 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆邮电大学，未经重庆邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910983158.8/，转载请声明来源钻瓜专利网。
