[发明专利]多数据方用户分析模型联合训练方法、装置及存储介质在审
申请号: | 202010370875.6 | 申请日: | 2020-04-30 |
公开(公告)号: | CN111611601A | 公开(公告)日: | 2020-09-01 |
发明(设计)人: | 戴佳 | 申请(专利权)人: | 深圳壹账通智能科技有限公司 |
主分类号: | G06F21/60 | 分类号: | G06F21/60;H04L29/06;G06F16/27;G06F16/215;G06K9/62;G06N3/04;G06Q40/08 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 多数 用户 分析 模型 联合 训练 方法 装置 存储 介质 | ||
1.一种多数据方用户分析模型联合训练方法,其特征在于,所述方法包括:
使用非对称加密算法构建公钥和私钥,并将所述公钥分发给至少两个数据方终端设备;
接收所述至少两个数据方终端设备利用所述公钥进行数据加密操作得到的加密样本数据;
利用所述私钥对所述加密样本数据进行解密操作,得到样本数据;
对所述样本数据进行重复数据剔除操作,得到训练样本数据;
构建初始用户分析模型,根据所述训练样本数据对所述初始用户分析模型进行训练,得到用户分析模型;及
将所述用户分析模型分发给所述至少两个数据方终端设备。
2.如权利要求1所述的多数据方用户分析模型联合训练方法,其特征在于,该方法还包括:
将所述样本数据利用下述Hash函数进行分布式存储:
slice_id=(w1×(hash_str(point_name)/b1)+w2×(day_time(time)/b2))
其中:slice_id为对数据分配的分片号,hash_str(point_name)为所述数据加入存储节点的数据名的量化函数,day_time(time)为所述数据加入存储节点的时间段的量化函数,b1为数据名的分散程度,b2为时间段的分散程度;w1和w2为权重系数。
3.如权利要求1所述的多数据方用户分析模型联合训练方法,其特征在于,所述对所述样本数据进行重复数据剔除操作,包括:
计算所述样本数据中不同用户的数据之间的相似度;
根据所述数据之间的相似度,剔除所述样本数据中的重复用户的数据。
4.如权利要求3所述的多数据方用户分析模型联合训练方法,其特征在于,所述相似度的计算公式为:
其中,Xi表示用户X的第i个特征数据,Yi为用户Y的第i个特征数据,sim(X,Y)表示用户X和Y的相似度。
5.如权利要求1至4中任意一项所述的多数据方用户分析模型联合训练方法,其特征在于,所述公钥和私钥存储于区块链中,所述根据所述训练样本数据对所述初始用户分析模型进行训练,得到用户分析模型,包括:
将所述初始用户分析模型分发给所述至少两个数据方终端设备;
接收所述至少两个数据方终端设备传送的利用所述公钥加密的模型参数,其中所述模型参数为所述至少两个数据方终端设备利用各自的特征数据和特征标签数据对所述初始用户分析模型进行训练得到的;
利用所述私钥对所述加密的模型参数进行解密操作,得到解密的模型参数,并根据所述解密的模型参数计算得到总模型参数;
利用所述总模型参数更新所述初始用户分析模型的模型参数,得到所述用户分析模型。
6.一种多数据方用户分析模型联合训练装置,其特征在于,所述装置包括:
密钥构建分发模块,用于使用非对称加密算法构建公钥和私钥,并将所述公钥分发给至少两个数据方终端设备;
加密接收模块,用于接收所述至少两个数据方终端设备利用所述公钥进行数据加密操作得到的加密样本数据;
解密汇总模块,用于利用所述私钥对所述加密样本数据进行解密操作,得到样本数据;
数据剔除模块,用于对所述样本数据进行重复数据剔除操作,得到训练样本数据;
模型训练及分发模块,用于构建初始用户分析模型,根据所述训练样本数据对所述初始用户分析模型进行训练,得到用户分析模型,并将所述用户分析模型分发给所述至少两个数据方终端设备。
7.如权利要求6所述的多数据方用户分析模型联合训练装置,其特征在于,所述对所述样本数据进行重复数据剔除操作,包括:
利用下述相似度的计算公式计算所述样本数据中不同用户的数据之间的相似度:
其中,Xi表示用户X的第i个特征数据,Yi为用户Y的第i个特征数据,sim(X,Y)表示用户X和Y的相似度;
根据所述数据之间的相似度,剔除所述样本数据中的重复用户的数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳壹账通智能科技有限公司,未经深圳壹账通智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010370875.6/1.html,转载请声明来源钻瓜专利网。