[发明专利]一种数据处理设备、方法和计算机可读存储介质

说明书

本发明提供了一种数据处理设备、方法和计算机可读存储介质，确认已部署的数据仓库基础构架和海杜普数据库，接收客户端发送的创建修改表对应的第一控制命令，对第一控制命令进行解析，判断是否需要去重，生成判断结果，根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表。通过本发明的实施，通过海杜普数据库的应用，以及在创建时判断是否需要去重，从而为数据仓库基础构架中的实体表的数据更新提供了便利，减小了维护成本。

技术领域

本发明涉及数据处理领域，更具体地说，涉及一种数据处理设备、方法和计算机可读存储介质。

背景技术

大数据处理中，数据更新是最常见的一种数据处理，HIVE(数据仓库基础构架)作为处理数据的最为常用的组件，由于其支持SQL(结构化查询语言)或类SQL而得到广泛的应用。然而，由于HIVE本身处理数据的单一，不支持对数据的去重操作，也就无法进行数据的更新，导致单纯应用HIVE的数据库不发有效的完成复杂结构化数据的更新操作，处理流程复杂，维护成本高。

发明内容

本发明要解决的技术问题在于如何解决现有技术中应用HIVE组件的数据处理不支持去重操作，从而导致对数据的更新复杂，维护成本高的问题；针对该技术问题，提供一种数据处理设备，其特征在于，所述数据处理设备包括处理器、存储器以及通信总线：

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行所述存储器中存储的数据处理程序，以实现：

确认已部署的数据仓库基础构架和海杜普数据库；

接收客户端发送的创建修改表对应的第一控制命令；

对所述第一控制命令进行解析，判断是否需要去重，生成判断结果；

根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表。

可选的，所述对第一控制命令进行解析，判断是否包含预设字段，生成判断结果包括：

解析所述第一控制命令中，是否包含NOREPEAT字段；所述判断结果包括是或否；

所述根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表包括：

若判断结果为是，则在所述数据仓库基础构架中创建实体表与对应的映射表，以及在所述海杜普数据库中创建对应的索引表；

如判断结果为否，则直接在所述数据仓库基础构架中创建实体表。

可选的，所述根据判断结果对应的在数据仓库基础构架和/或海杜普数据库中创建表之后，所述处理器还用于执行所述数据处理程序，以实现：

接收客户端发送的添加和/或修改数据对应的第二控制命令；

在所述索引表中，查找是否存在与所述第二控制命令对应的表的名称；

若是，则将待添加和/或修改的数据进行去重处理后，写入所述实体表中。

可选的，所述将待添加和/或修改的数据进行去重处理后，写入所述实体表中包括：

将所述待添加和/或修改的数据通过所述映射表保存至所述索引表中；

在所述索引表中，通过所述待添加和/或修改的数据对对应的表进行更新；

将更新后的所述索引表的内容重写入所述实体表中。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现：

确认已部署的数据仓库基础构架和海杜普数据库；