[发明专利]消息的非对称协作队列管理

说明书

本文公开了用于被消息淹没的服务器进行响应的改进技术。最初可以将消息放在“传入”队列中，一旦服务器接受到相应的消息进行处理，就可以将该消息放入到所接受的队列中，并生成指示将处理该消息的指示。当所接受的队列中的消息的数量满足或超过规定的阈值，将拒绝寻址到传入队列的新消息。此外，直到对传入队列中的消息进行了处理(或满足其它条件)，才向传入队列分配计算资源。一旦传入队列为空或满足其它条件，则向所接受的队列分配资源。一旦所接受的队列中的消息的数量满足或下降到低于第二阈值，则将再次允许新的消息进入传入队列。

背景技术

消息服务器处理大量的工作负载，每天在全球范围内共同处理数千亿条消息。但是，当传入消息超过服务器处理这些消息的能力时，消息服务器可能会变得不堪重负。发送到不堪重负的服务器的消息通常保留在队列中，直到被处理为止，这将导致延迟。当延迟太长时，消息可能会超时，从而导致消息发送者重新尝试该消息。此外，不堪重负的消息服务器可能继续接收新消息，从而增加了延迟和超时。此外，由于越来越多的资源专用于调度消息，因此产生的积压降低了计算机效率，从而减少了可用于实际处理消息的资源。这样，可以理解的是，持续需要改进用于被消息淹没的服务器进行响应的技术。

相对于这些考虑和其它考虑，提出了本文进行的公开内容。

发明内容

本文公开了用于被消息淹没的服务器进行响应的改进技术。最初可以将消息放在“传入”队列中。一旦服务器接受到相应的消息进行处理，就可以将该消息放入到所接受的队列中，并生成指示将处理该消息的指示。当所接受的队列中的消息的数量满足或超过规定的阈值，将拒绝寻址到传入队列的新消息。此外，直到对传入队列中的消息进行了处理(或满足其它条件)，才向传入队列分配计算资源。一旦传入队列为空或满足其它条件，则向所接受的队列分配资源。一旦所接受的队列中的消息的数量满足或下降到低于第二阈值，则将再次允许新的消息进入传入队列。

在一些实施例中，将诸如电子邮件之类的消息放在“传入”队列中。传入队列包含服务器未接受的消息，不能保证将处理该传入消息。一旦服务器接受了一条消息，就可以将其从传入队列中删除，并放入“接受”队列中。保证所接受的队列中的消息将被服务器处理。

在一些实施例中，传入队列和所接受的队列是协作的-它们共享公共的计算资源池(例如，处理器、存储器、网络带宽等等)，它们基于各种标准而彼此出让这些资源。例如，在正常操作状态下(即，当两个队列都没有超过消息的阈值数量时)，可以与每个队列的大小成比例地分配计算资源。但是，在一些实施例中，可以给予所接受的队列更多或稍微多于比例的资源，以避免累积接受的消息。

另外地或替代地，当所接受的队列中的消息的数量满足或超过阈值时，服务器可以通过阻止将新消息添加到传入队列中来进行响应。虽然传入队列被阻止，但服务器仍然可以继续允许消息进入所接受的队列。继续允许消息进入所接受的队列是违反直觉的，这是因为响应是由所接受的队列中的大量消息触发的。从传入队列中拒绝消息，但允许消息进入所接受的队列，可以防止接收到的新消息超过可处理的数量的失控情况。同时，仍然可以将传入队列中已经存在的消息添加到所接受的队列中并进行处理。

同时，服务器可以将部分或全部的计算资源分配给传入队列。一旦传入队列中的消息的数量满足或下降到低于另一个阈值，服务器就可以将资源分配给所接受的队列。按此顺序来分配资源，以防止未接受的消息出现较大的延迟和超时。一旦所接受的队列中的消息的数量满足或下降到低于另一个规定的阈值，则随着处理恢复正常，可以再次将传入的消息添加到传入队列中。

传入队列还可能满足或超过消息的阈值数量。在一些实施例中，服务器通过拒绝来自传入队列的后续消息来做出响应。此外，服务器可以确定所接受的队列中的消息的数量是否较低(无论是绝对数量还是相对于传入队列中的消息的数量而言)。如果所接受的队列中的消息的数量很少，则可以将其它资源分配给传入队列。