[发明专利]用于服务器和用于消费者的数据槽数据处理方法和装置

说明书

本申请提供一种用于服务器的数据槽数据处理方法，包括：接收消费者发送的汇报信息；所述汇报信息，至少包括心跳信息；所述心跳信息，至少包括：所述消费者当前持有的数据槽的标识；根据接收的所述汇报信息以及维护的消费者和数据槽状态数据库的相关信息，执行服务器的数据槽数据处理逻辑，以更新所述消费者和数据槽状态数据库并向所述消费者返回对应于所述汇报信息的响应信息；其中，所述数据槽数据处理逻辑，至少包括：返回希望所述消费者持有的数据槽的标识。配套与所述用于服务器的数据槽数据处理方法，本申请还提供一种用于消费者的数据槽数据处理方法。本申请可以解决在存在祖先关系的数据槽上自动处理数据按序消费的问题。

技术领域

本申请涉及数据处理技术领域，具体涉及用于服务器的数据槽数据处理方法和装置以及用于消费者的数据槽数据处理方法和装置。

背景技术

一个数据槽数据处理的典型应用场景就是有一个数据仓库，在数据仓库里面有若干供数据生产者和消费者使用的数据槽。每个数据槽均具备以下特征：

1)数据槽有只读和读写两种状态。只读表示数据槽不接收写入数据，但可以从数据槽中读取数据；读写表示数据槽可读可写；

2)每个数据槽均关联一个哈希值集合。初始时，所有数据槽都是读写状态，并且任意数据槽的哈希值集合不相交；

3)数据槽可以发生合并动作。例如，合并(数据槽1，数据槽2)表示新建一个读写状态的数据槽，新建的槽关联的哈希值集合是数据槽1和数据槽2的并集；在合并完成之后，数据槽1和数据槽2将变成只读状态；

4)数据槽可以发生分割动作。例如，分割(数据槽1)，表示将数据槽1分割成两个读写状态的数据槽；第一个新分割的数据槽从数据槽1关联的哈希值集合中切一部分作为自己的哈希值集合，剩下的哈希值集合会被分配给另一个新分割的数据槽，而且数据槽1将变成只读状态。

在实际应用中，数据槽的上游是数据生产者。一批数据生产者会不停地生产数据，并将数据按照其哈希值塞到某一个特定的数据槽里面。具体写入某一个特定的数据槽必须同时符合以下两个因素：这个数据槽是读写状态；这个数据槽关联的哈希值集合包含数据的哈希值。

由于数据槽和数据写入的上述特性，每一份数据只能写入唯一的数据槽中；不仅如此，每一份数据在特定的数据槽中都有其位置信息，可以根据位置信息从特定的数据槽中读取这份数据。

在实际应用中，数据槽的下游是若干消费者。每个消费者均持有一部分数据槽，并消费这些数据槽中的数据。这些消费者必须满足以下消费规则：

1)不同消费者持有的数据槽不相交；

2)所有消费者均摊数据槽，保证任意两个消费者持有的数据槽的数量差值的绝对值小于或等于1；

3)必须顺序消费相同哈希值的数据。

在实际应用中，在多个消费者协同消费数据仓库中数据槽的数据的过程中，可能会出现以下情况：

1)数据槽发生合并或分割动作，产生读写状态的新槽，原数据槽变成只读状态；

2)消费者数量动态变化，例如，新的消费者加入、已有的消费者退出；

3)只读状态的数据槽中的数据被消费完毕，此时这个数据槽不再由消费者持有。

上述情况发生时，如何保证消费者仍然满足上述消费规则，是一个亟待解决的问题。一般的解决办法基本上是基于数据槽来提供消费者的协同消费，这些办法通常都是仅提供最基本的协同消费方案，不能满足数据按序消费的需求。特别是当数据槽发生合并或者分割时，由于数据槽之间产生了祖先关系，祖先数据槽变成只读属性，新产生的数据槽为读写属性，之前按照哈希值应该写到原数据槽的数据会被写入新产生的数据槽中；如果要满足按序消费就要求在原数据槽消费完之前，新数据槽不应该被消费。现有的技术方案无法处理这种有祖先关系的数据槽，不能解决数据按序消费的问题。