[发明专利]一种基于数据简并的大数据转换方法与装置

说明书

本申请揭示了一种基于数据简并的大数据转换方法，分别进行模数转化处理，以得到数字信号集合；进行聚类处理，以得到多个数据子集，并得到多个相似度集合；获取多个标准数据；生成多个虚拟数字数据，并对所述多个虚拟数字数据进行人工标记处理，从而得到多个样本数据；对预设的深度神经网络模型进行训练，以得到数字规律预测模型；得到多个预测结果；构成一号数据集，构成二号数据集；分别进行哈希计算，从而得到多个哈希值，并建立映射关系；进行数据简并处理，以得到多个三元素数据组合；执行大数据存储操作，实现了数据简并的目的，从而减轻了大数据的存储压力，并且还提高了大数据的信息安全性。

技术领域

本申请涉及到大数据领域，特别是涉及到一种基于数据简并的大数据转换方法与装置。

背景技术

医疗及医学教育领域中的大数据分析，是在大量的传感器进行大数据采集的基础上实施的，这些传感器采集得到的数据（一般为模拟信号数据）数量繁多，需要耗费大量的存储资源来存储，因此形成庞大的存储压力。而传统的大数据存储方案中，未能有效解决存储压力大的问题。

发明内容

本申请一种基于数据简并的大数据转换方法，应用于大数据转化终端，包括：

S1、接收来自于预设的多个数据传感器进行感测处理而得到的模拟信号集合，并根据预设的模数转化方法，对所述模拟信号集合中的模拟信号分别进行模数转化处理，以得到数字信号集合；

S2、根据预设的数据聚类方法，对所述数字信号集合进行聚类处理，以得到多个数据子集，并根据预设的相似度计算方法，对每个数据子集中的全部成员进行相似度计算处理，以得到与所述多个数据子集分别对应的多个相似度集合；

S3、根据所述多个相似度集合，从每个数据子集中分别筛选出一个标准数据，从而获取与所述多个数据子集一一对应的多个标准数据，并生成所述多个标准数据分别对应的代号；

S4、采用预设的数据模拟方法，生成多个虚拟数字数据，并对所述多个虚拟数字数据进行人工标记处理，以将存在数字规律的虚拟数字数据标记上对应的标签，从而得到多个样本数据；其中，不存在数字规律的虚拟数字数据被默认标记上零号标签，具有不同数字规律的虚拟数字数据被标记上不同的标签；

S5、使用所述多个样本数据对预设的深度神经网络模型进行训练，以得到数字规律预测模型；其中，训练过程中采用反向传播算法来更新各层网络的参数；

S6、将所述数字信号集合中，除所述多个标准数据之外的其他数据，依次输入所述数字规律预测模型中进行处理，以得到所述数字规律预测模型对应输出的多个预测结果；其中，当预测结果为具有数字规律时，预测结果还附带有数字规律标签；

S7、将预测结果为不具有数字规律的数据构成一号数据集，并将预测结果为具有数字规律的数据构成二号数据集；

S8、根据预设的哈希算法，对所述二号数据集中的所有数据分别进行哈希计算，从而得到多个哈希值，并建立数据-哈希值-数字规律标签-数据子集-标准数据代号的映射关系；

S9、根据所述映射关系，对所述二号数据集中的所有数据进行数据简并处理，以得到多个三元素数据组合；其中，每个三元素数据组合由处于同一个映射关系中的哈希值、数字规律标签和标准数据代号构成；

S10、执行大数据存储操作，以存储所述一号数据集、所述多个标准数据和所述多个三元素数据组合。

进一步地，所述根据预设的相似度计算方法，对每个数据子集中的全部成员进行相似度计算处理，以得到与所述多个数据子集分别对应的多个相似度集合的步骤，包括：

S201、进行第一次划分操作，以对第一个数据子集中的全部成员分别进行t等分划分处理，从而对应得到多个二进制符号段序列；