[发明专利]大数据处理方法、装置、设备及可读存储介质有效
| 申请号： | 201910526411.7 | 申请日： | 2019-06-18 |
| 公开（公告）号： | CN110390056B | 公开（公告）日： | 2022-07-15 |
| 发明（设计）人： | 高梁梁;陈绯霞 | 申请（专利权）人： | 平安科技（深圳）有限公司 |
| 主分类号： | G06F16/9536 | 分类号： | G06F16/9536;G06F16/9535;G06N3/04;G06N3/08 |
| 代理公司： | 北京市京大律师事务所 11321 | 代理人： | 苏福念 |
| 地址： | 518033 广东省深圳市福田区福*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： |
本发明涉及大数据技术领域，公开了一种大数据处理方法，包括以下步骤：通过预置多层感知器神经网络模型集合中预先训练好的各个多层感知器神经网络模型，分别对数据记录表中的初始待推送数据进行分类，得到干扰数据集与非干扰数据集；对所述非干扰数据集中的数据进行降维，得到降维数据集；通过关联算法计算所述降维数据集中数据间的关联关系值，根据公式 |
||
| 搜索关键词： | 数据处理 方法 装置 设备 可读 存储 介质 | ||
【主权项】：
1.一种大数据处理方法，其特征在于，所述大数据处理方法包括以下步骤：通过预置多层感知器神经网络模型集合中预先训练好的多层感知器神经网络模型，分别对数据记录表中的初始待推送数据进行分类，得到干扰数据集与非干扰数据集；将所述非干扰数据集构造成样本数据矩阵Dn×m；通过协方差公式，计算所述样本数据矩阵Dn×m的协方差矩阵Cm×m；计算所述协方差矩阵Cm×m的m个特征值和对应的m个特征向量；通过冒泡排序法对所述特征值和特征向量进行排序，并将所述排序后的特征值和特征向量映射到低维空间，得到降维数据集；通过关联算法计算所述降维数据集中数据间的关联关系值，通过以下公式，计算所述关联关系值的权重，得到具有权重的降维数据集；![]()
其中，Wij表示关联关系值的权重，Nij表示在j个数据分组中，数据组i中的数据之间的关联关系值，λ为权重调节系数，所述降维数据集包括多个数据分组。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于平安科技（深圳）有限公司，未经平安科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910526411.7/，转载请声明来源钻瓜专利网。
