[发明专利]数据处理方法、装置、电子设备及计算机存储介质

说明书

本发明实施例提供了一种数据处理方法、装置、电子设备及计算机存储介质。其中，所述方法包括：获得目标数据表的创建指令，从所述创建指令中获得设定动态字段信息，其中，所述设定动态字段信息用于指示目标数据表中动态字段的定义规则；根据所述设定动态字段信息中指示的所述定义规则，创建所述目标数据表，所述目标数据表中包含所述定义规则定义的动态字段，并将所述设定动态字段信息保存至所述目标数据表的元数据中。通过本发明实施例，可以提升易用性和便捷性。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及计算机存储介质。

背景技术

随着大数据时代的到来，需要存储的数据量骤增，为了满足新的数据存储、管理和使用需求，人们采用数据湖(Data Lake)来存储和管理数据。在数据湖使用场景中，用户也需要在数据湖中定义数据库和数据表，并通过路径、协议等信息将数据库或数据表映射到各种数据源上。在针对数据表做查询时，通过映射关系找到数据源，从中读取数据后做分析。

前述的无论是传统数据库还是数据湖，在定义数据表时都需要完整、明确地定义出数据表中所有的字段，这样在后续查询分析时，才可以针对数据表中的字段做各种处理。

然而，在数据湖使用场景中，经常会出现数据表对应的真实数据源中的字段信息是经常变化的，甚至是未知的。比如HBase、BigTable、TableStore等KV(key-value)型、宽表存储数据库，他们只有主键字段是固定的，而非主键字段是允许变化的。

针对这种情况，为了保证在数据库中能够正常的使用SQL对数据进行处理，需要每次在数据表中的字段产生变化时，都通过诸如DDL(Data Definition Language，数据定义语言)的方式来反复变更数据表结构，并更新数据表的元数据。这种方式存在的问题在于：数据内容变化后，才会使用DDL对数据表中的字段进行处理，如增加字段、删除字段等。这种需要使用DDL频繁变更数据表结构的方式，因为，如不变更表结构和元数据就无法正常处理数据表导致数据库中存储数据表对应的元数据的处理繁琐、易用性差，操作繁琐。

发明内容

有鉴于此，本发明实施例提供一种数据处理方案，以解决上述部分或全部问题。

根据本发明实施例的第一方面，提供了一种数据处理方法，其包括：获得目标数据表的创建指令，从所述创建指令中获得设定动态字段信息，其中，所述设定动态字段信息用于指示目标数据表中动态字段的定义规则；根据所述设定动态字段信息中指示的所述定义规则，创建所述目标数据表，所述目标数据表中包含所述定义规则定义的动态字段，并将所述设定动态字段信息保存至所述目标数据表的元数据中。

根据本发明实施例的第二方面，提供了一种数据处理方法，其包括：从数据查询请求中，获得所述数据查询请求所请求的待查询数据的信息，其中，所述待查询数据的信息包括：目标数据表的信息和目标字段的信息；根据所述目标字段的信息和所述目标数据表的元数据，获得所述目标字段中与所述元数据中的设定动态字段信息相匹配的字段的信息，或者，获得与所述设定动态字段信息相匹配的字段的信息和固定字段的信息；其中，所述设定动态字段信息用于指示所述目标数据表中动态字段的定义规则；根据获得的字段的信息，获得对所述数据查询请求进行解析的解析结果。

根据本发明实施例的第三方面，提供了一种数据处理装置，其包括：指令接收模块，用于获得目标数据表的创建指令，从所述创建指令中获得设定动态字段信息，其中，所述设定动态字段信息用于指示目标数据表中动态字段的定义规则；表创建模块，用于根据所述设定动态字段信息中指示的所述定义规则，创建所述目标数据表，所述目标数据表中包含所述定义规则定义的动态字段，并将所述设定动态字段信息保存至所述目标数据表的元数据中。