[发明专利]一种具有因果关系的不一致数据处理方法在审
申请号: | 201910610569.2 | 申请日: | 2019-07-03 |
公开(公告)号: | CN110414079A | 公开(公告)日: | 2019-11-05 |
发明(设计)人: | 邓建新;单路宝;唐锐;叶志兴;贺德强;李先旺 | 申请(专利权)人: | 广西大学 |
主分类号: | G06F17/50 | 分类号: | G06F17/50;G06F17/16 |
代理公司: | 南宁智卓专利代理事务所(普通合伙) 45129 | 代理人: | 邓世江 |
地址: | 530004 *** | 国省代码: | 广西;45 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种具有因果关系的不一致数据处理方法,属于数据处理技术应用领域,针对具有因果关系的数据,面对不同来源的具有相同属性的多维数据其原因数据不同,结果数据也不同的不一致情况,提出首先对不一致性进行判断,然后对真正不一致数据进行处理的方法。该方法利用偏最小二乘法建立多因变量对多自变量的回归模型,然后利用自适应变异的粒子群优化算法来求解最优的值,进而实现不一致数据的处理。该方法能够有效解决神经网络等黑箱模型不直观、数据量要求大的缺点,同时,也为数据质量优化和数据预处理提供了一种新方法,在数据驱动服务应用、大数据领域的数据预处理等方面都有市场前景。 | ||
搜索关键词: | 不一致 因果关系 数据预处理 数据处理 自变量 粒子群优化算法 偏最小二乘法 数据处理技术 不一致性 多维数据 服务应用 黑箱模型 回归模型 结果数据 神经网络 数据驱动 有效解决 原因数据 质量优化 大数据 数据量 因变量 自适应 求解 直观 | ||
【主权项】:
1.一种具有因果关系的不一致数据处理方法,其特征在于,所述方法包括如下步骤:步骤1:将n个不同来源的有相同属性的多维具有因果关系的数据集组成的样本形成矩阵,n是正整数,矩阵的行代表数据样本,列代表数据维度,同时将矩阵中n个不同来源的数据进行两两组合,得到组合数据;步骤2:分别对每个组合数据进行不一致判断;步骤3:如果判断结果是所有组合均是不一致的,则认为所有来源的数据均是不一致的,需要进行不一致处理;如果判断结果是所有组合均是一致的,则认为所有来源的数据均是一致的,不必进行不一致处理;否则,则认为所有来源的数据存在不一致的情况,需要进行不一致处理;步骤4:如果判断结果为不一致,则合并所有数据样本来建立偏最小二乘法(Partial Least Squares,PLS)回归模型,并利用粒子群优化算法(Particle Swarm Optimization,PSO)优化算法来求解最优的值,进而完成不一致情况的处理。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广西大学,未经广西大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910610569.2/,转载请声明来源钻瓜专利网。