[发明专利]数据处理方法、数据处理装置和电子设备

说明书

本申请提供的数据处理方法、数据处理装置和电子设备，涉及异构化数据存储技术领域。其中，数据处理方法包括：根据待处理的异构化数据的属性信息进行等级划分处理得到多个数据等级，其中，所述异构化数据由多组数据构成，各数据等级对应的数据量大小不同；对每一个所述数据等级生成对应的一个映射关系，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储；判断是否存在需要进行调整的数据等级，并对需要进行调整的数据等级对应的映射关系进行调整。通过上述方法，可以改善现有技术中对异构化数据进行存储时存在存储资源浪费或存储后不利于查找的问题。

技术领域

本申请涉及异构化数据处理存储技术领域，具体而言，涉及一种数据处理方法、数据处理装置和电子设备。

背景技术

在工业IoT物联网环境中，散布在各个区域的IoT设备通常是属于某个具体的租户，而属于每个租户的IoT设备则可能会成千上万。并且，不同设备之间工况参数(如设备机械、电气和GPS位置属性等)的个数变化较大，从几个到几百个都有。作为最终用户登陆入口的SaaS系统，需要有效地管理这些多租户环境下的多设备，应用大数据OLAP技术去多维度、多参数地监控、统计和展示这些异构化数据。

在面对上述应用需求时，现有技术中存在两种技术方案。例如，一种方案为：如果使用常见的关系数据库系统的话，一个IoT设备类型就创建一张数据库表(Table)。因此，在每个租户会有多种设备类型的基础上，每个租户名下就会有多张数据库表。按照这样的设计，每新增一种设备类型都需要创建一张新的数据库表，这样做的一个明显的后果就是如果按以租户、设备类型等为维度的进行查询，则演变为对多个表的关联操作，势必极大影响系统性能。或者，如果对这些设备类型表进行归纳，用一张大表或者少数几张表去映射这些设备，则这些表本质上就是这些设备属性的合集，这样一来，不少行的某些列的数值肯定是空，但数据库系统不得不为之占位，进而造成空间上的浪费。另外众所周知的是，一张表中如果有太多的数据条数会影响系统数据处理的性能。

另一种方案为：用面向列存储的NoSQL系统，如MongoDB，去存这些异构化数据。由于是面向列存储系统设计，这些系统先天就具有schema-free优势，比较适合存贮字段变长或不固定的数据。但是放在本方案的实际环境中，这种方案就会存在存储后不利于查找的问题。

因此，提供一种既可以避免存储资源浪费，又可以在存储后有效地进行数据查找的技术方案，是亟待解决的技术问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据处理方法、数据处理装置和电子设备，以改善现有技术中对异构化数据进行存储时存在存储资源浪费或存储后不利于查找的问题。

为实现上述目的，本申请实施例采用如下技术方案：

一种数据处理方法，包括：

根据待处理的异构化数据的属性信息进行等级划分处理得到多个数据等级，其中，所述异构化数据由多组数据构成，各数据等级对应的数据量大小不同；

对每一个所述数据等级生成对应的一个映射关系，并将属于相同数据等级的各组数据基于该数据等级对应的映射关系进行存储；

判断是否存在需要进行调整的数据等级，并对需要进行调整的数据等级对应的映射关系进行调整。

在本申请实施例较佳的选择中，在上述数据处理方法中，所述判断是否存在需要进行调整的数据等级，并对需要进行调整的数据等级对应的映射关系进行调的步骤，包括：

判断是否存在需要进行调整的数据等级；

若存在需要进行调整的数据等级，则判断是否需要重新进行等级划分处理；

若需要重新进行等级划分处理，则根据重新划分得到的数据等级生成对应的映射关系。