[发明专利]一种基于数据简并的大数据转换方法与装置

权利要求书

1.一种基于数据简并的大数据转换方法，其特征在于，应用于大数据转化终端，包括：

S1、接收来自于预设的多个数据传感器进行感测处理而得到的模拟信号集合，并根据预设的模数转化方法，对所述模拟信号集合中的模拟信号分别进行模数转化处理，以得到数字信号集合；

S2、根据预设的数据聚类方法，对所述数字信号集合进行聚类处理，以得到多个数据子集，并根据预设的相似度计算方法，对每个数据子集中的全部成员进行相似度计算处理，以得到与所述多个数据子集分别对应的多个相似度集合；

S3、根据所述多个相似度集合，从每个数据子集中分别筛选出一个标准数据，从而获取与所述多个数据子集一一对应的多个标准数据，并生成所述多个标准数据分别对应的代号；其中，标准数据指的是，与同一个数据子集中的其他成员之间的相似度值，均大于预设的相似度阈值的数据；

S4、采用预设的数据模拟方法，生成多个虚拟数字数据，并对所述多个虚拟数字数据进行人工标记处理，以将存在数字规律的虚拟数字数据标记上对应的标签，从而得到多个样本数据；其中，不存在数字规律的虚拟数字数据被默认标记上零号标签，具有不同数字规律的虚拟数字数据被标记上不同的标签；

S5、使用所述多个样本数据对预设的深度神经网络模型进行训练，以得到数字规律预测模型；其中，训练过程中采用反向传播算法来更新各层网络的参数；

S6、将所述数字信号集合中，除所述多个标准数据之外的其他数据，依次输入所述数字规律预测模型中进行处理，以得到所述数字规律预测模型对应输出的多个预测结果；其中，当预测结果为具有数字规律时，预测结果还附带有数字规律标签；

S7、将预测结果为不具有数字规律的数据构成一号数据集，并将预测结果为具有数字规律的数据构成二号数据集；

S8、根据预设的哈希算法，对所述二号数据集中的所有数据分别进行哈希计算，从而得到多个哈希值，并建立数据-哈希值-数字规律标签-数据子集-标准数据代号的映射关系；

S9、根据所述映射关系，对所述二号数据集中的所有数据进行数据简并处理，以得到多个三元素数据组合；其中，每个三元素数据组合由处于同一个映射关系中的哈希值、数字规律标签和标准数据代号构成；

S10、执行大数据存储操作，以存储所述一号数据集、所述多个标准数据和所述多个三元素数据组合。

2.根据权利要求1所述的基于数据简并的大数据转换方法，其特征在于，所述根据预设的相似度计算方法，对每个数据子集中的全部成员进行相似度计算处理，以得到与所述多个数据子集分别对应的多个相似度集合的步骤，包括：

S201、进行第一次划分操作，以对第一个数据子集中的全部成员分别进行t等分划分处理，从而对应得到多个二进制符号段序列；

S202、进行第一批相似度计算操作，以从所述多个二进制符号段序列中随机选出一个参考二进制符号段序列，并根据公式：

，

计算出参考二进制符号段序列与一个其他二进制符号段序列之间的相似度值Q，从而得到多个相似度值；其中，p为预设的大于1的参数，Wi为参考二进制符号段序列的第i个二进制符号段，Ei为另一个被计算的二进制符号段序列的第i个二进制符号段；

S203、进行第一次相似度集合构建操作，以将所述多个相似度值组成对应于第一个数据子集的第一个相似度集合；

S204、依次进行第二次划分操作、第二批相似度计算操作、第二次相似度集合构建操作、…、第m次划分操作、第m批相似度计算操作、第m次相似度集合构建操作，从而得到对应于第二个数据子集的第二个相似度集合、…、对应于第m个数据子集的第m个相似度集合；其中，共有m个数据子集，m为大于2的整数。

3.根据权利要求2所述的基于数据简并的大数据转换方法，其特征在于，所述根据所述多个相似度集合，从每个数据子集中分别筛选出一个标准数据，从而获取与所述多个数据子集一一对应的多个标准数据的步骤，包括：

S301、判断第一个相似度集合中的所有成员是否均大于预设的相似度阈值；

S302、若第一个相似度集合中的所有成员均大于预设的相似度阈值，则将所述参考二进制符号段序列作为从第一个数据子集中筛选出来的标准数据。