[发明专利]一种读写控制方法、装置及服务器

说明书

本发明实施例提供了一种读写控制方法、装置及服务器。该方法包括：监测针对数据仓库的数据请求；数据请求包括：读数据请求或写数据请求；根据数据请求所请求访问的存储位置的写锁节点的占用状态，给数据请求分配写锁节点；当数据请求为读数据请求且数据请求分配得到存储位置的读锁节点时，将写锁节点的占用状态更改为未占用并放行读数据请求；当数据请求为写数据请求且读锁节点未被占用时，放行写数据请求。这样，可以协调读操作和写操作按照顺序进行，避免了并行读写所带来的数据处理结果的错误甚至任务失败的问题。

技术领域

本发明涉及计算机技术领域，特别是涉及一种读写控制方法、装置及服务器。

背景技术

数据数仓(Data Warehouse，DW)是主流的存储海量数据的技术。目前，常常利用数据仓库来存储数据，并利用数据仓库中所存储的数据来进行数据分析和机器学习训练等。

发明人在实现本发明的过程中发现，数据仓库所涉及的数据操作主要是数据查询，即主要是读操作，所涉及的写操作很少。但是，当涉及到写操作并且写操作所请求修改的数据正在被其他数据处理流程所使用时，常常会导致相关数据处理结果的错误甚至任务失败。

发明内容

本发明实施例的目的在于提供一种读写控制方法、装置及服务器，以能够协调读操作和写操作按照顺序进行，避免并行读写所带来的数据处理结果的错误甚至任务失败的问题。具体技术方案如下：

第一方面，本发明实施例提供了一种读写控制方法，该方法可以包括：

监测针对数据仓库的数据请求；数据请求包括：读数据请求或写数据请求；

根据数据请求所请求访问的存储位置的写锁节点的占用状态，给数据请求分配写锁节点；

当数据请求为读数据请求且数据请求分配得到存储位置的读锁节点时，将写锁节点的占用状态更改为未占用并放行读数据请求；

当数据请求为写数据请求且读锁节点未被占用时，放行写数据请求。

可选地，在监测针对数据仓库的数据请求的步骤之前，还可以包括：

通过分布式系统协调服务zookeeper为数据仓库中的每个存储单元创建写锁节点和读锁节点；存储单元包括：数据表或分区数据表中的一个分区。

可选地，根据数据请求所请求访问的存储位置的写锁节点的占用状态，给数据请求分配写锁节点的步骤，可以包括：

在数据请求所请求访问的存储位置的写锁节点下，创建第一临时顺序节点；

当第一临时顺序节点不为写锁节点下唯一的临时顺序节点时，确定写锁节点的占用状态为被占用，放弃给数据请求分配写锁节点；

当第一临时顺序节点为写锁节点下唯一的临时顺序节点时，给数据请求分配写锁节点。

可选地，第一临时顺序节点的序号为：在创建第一临时顺序节点后，写锁节点下临时顺序节点的总数目。

可选地，当数据请求为读数据请求且数据请求分配得到存储位置的读锁节点时，将写锁节点的占用状态更改为未占用并放行读数据请求的步骤，包括：

当数据请求为读数据请求时，在存储位置的读锁节点下创建临时节点，以给数据请求分配存储位置的读锁节点；

将写锁节点的占用状态更改为未占用并放行读数据请求。

可选地，当数据请求为写数据请求且读锁节点未被占用时，放行写数据请求的步骤，可以包括：

当数据请求为写数据请求时，监测读锁节点下的临时节点的数目；

当读锁节点下的临时节点的数目为零时，放行写数据请求。