[发明专利]基于联邦学习实现数据探索性分析处理的方法有效

专利信息
申请号: 202010571158.X 申请日: 2020-06-22
公开(公告)号: CN111753319B 公开(公告)日: 2021-06-25
发明(设计)人: 黄智明;曾维 申请(专利权)人: 上海富数科技有限公司
主分类号: G06F21/60 分类号: G06F21/60
代理公司: 上海智信专利代理有限公司 31002 代理人: 王洁;郑暄
地址: 201802 上海市嘉定区科*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 联邦 学习 实现 数据 探索 分析 处理 方法
【权利要求书】:

1.一种基于联邦学习实现数据探索性分析处理的方法,其特征在于,所述的方法包括以下步骤:

基于横向融合进行探索性分析的步骤具体包括以下处理过程:

(1-1)汇总单列的每个节点的信息,计算统计信息以及列之间的相关性和周期性;

(1-2)将各个节点的统计信息汇总至发起节点,在数据无交换的情况下获取信息,并通过计算获得相关信息,广播至所有参与节点;

(1-3)判断是否需要投票计票,如果是,则投票器计算相关权重;否则,广播器将广播结果传输至参与节点;

基于纵向融合进行探索性分析的步骤具体包括以下处理过程:

(2-1)汇总统计信息,收集各节点的统计信息;

(2-2)从各数据集中各取一列,对每个节点单列进行woe编码、归一化特征转化,加密后传输至数据请求方;

(2-3)在节点进行解密分析,利用现有的相关性分析算法对两列数据进行线性相关性分析;

所述的步骤(1-3)的投票的步骤具体包括以下处理过程:

(1-3.1)每个节点广播自己的对这一列的周期性判断,并关联投票轮次,每台服务器统计选票;

(1-3.2)判断各个结果的数据是否超过阈值,如果是,则周期性存在;否则,周期性不存在。

2.根据权利要求1所述的基于联邦学习实现数据探索性分析处理的方法,其特征在于,所述的步骤(2-3)还包括以下步骤:

判断样本量是否低于阈值,如果是,则误差较大,不进行线性相关;否则,继续步骤(2-3)。

3.根据权利要求1所述的基于联邦学习实现数据探索性分析处理的方法,其特征在于,所述的步骤(1-1)的每个节点的信息包括近似中数、众数、缺失值、缺失值比例和均值。

4.根据权利要求1所述的基于联邦学习实现数据探索性分析处理的方法,其特征在于,所述的方法还包括对数据进行探索分析的步骤,具体包括以下步骤:

(3-1)判断数据是否有缺失值,如果是,则继续步骤(3-2);否则,继续步骤(3-3);

(3-2)判断是否对缺失值进行操作,如果是,则处理缺失值;否则,继续步骤(3-3);

(3-3)是否对异常值进行过滤,如果是,则进行异常值过滤;否则,继续步骤(3-4);

(3-4)判断是否进行特征转化,如果是,则进行特征转化,结束步骤;否则,结束步骤。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海富数科技有限公司,未经上海富数科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010571158.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top