[发明专利]数据处理的方法和数据处理系统

说明书

技术领域

本发明涉及信息技术领域，并且更具体地，涉及数据处理的方法和数据处理系统。

背景技术

随着系统规模、业务数量和用户数目的增长，系统每天都会产生海量日志。运维人员需要从海量日志中分析出系统出现的问题、用户体验以及业务情况等信息。目前主流厂商都是用流处理引擎来对海量数据进行分析和处理，流处理引擎的性能决定了数据处理的能力。

目前主要的流处理引擎内部数据处理拓扑采用的是发送(Spout)模块+处理(Bolt)模块方式，例如流处理引擎(Storm)。在非事务机制中，Spout模块不断的往后面的处理模块发送数据，当Bolt模块处理能力不足的时候，Spout模块发送速率不变，会导致数据堆积。在事务机制中，Spout模块按照批次发送，一批数据处理完成后，再发送下一批数据，若由于Bolt模块处理能力不足，长时间没有回复给Spout模块响应信息时，Spout模块即认为当前这批数据处理失败，进而会重新发送这批数据，这样也会导致数据在Bolt模块堆积越来越多，若超过Bolt模块的处理能力时，会降低数据处理性能。

发明内容

本发明实施例提供一种数据处理系统和数据处理的方法，能够提高数据处理性能。

第一方面，提供了一种数据处理系统。该数据处理系统包括发送模块，处理模块，状态监控模块和策略调整模块；该发送模块，用于向该处理模块发送数据；该处理模块，用于处理该发送模块发送的该数据；该状态监控模块，用于确定该处理模块的处理状态信息，并向该策略调整模块发送该处理状态信息，该处理状态信息用于指示该处理模块处理该数据的处理能力；该策略调整模块，用于根据该处理状态信息，确定该发送模块向该处理模块发 送该数据的发送策略。

发送模块向处理模块发送数据，处理模块接收到该数据后，对该数据进行相关业务处理，或者向后传输继续处理。状态监控模块可以实时地监控处理模块的处理状态，并将处理模块的处理状态信息发送给策略调整模块，该策略调整模块能够根据处理状态信息调控发送模块的发送模式。

因此，本发明实施例提供的数据处理系统，该数据处理系统中的状态监控模块能够将处理模块对当前数据的处理状态反馈给发送模块，策略调整模块能够根据当前数据的处理状态确定该发送模块的发送策略，避免现有技术中发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块的处理能力不一致，从而提高了数据处理性能。

结合第一方面，在第一方面的第一种可能的实现方式中，该数据处理系统还包括：状态跟踪模块，用于接收该处理模块处理的该数据的处理结果信息，并向该策略调整模块发送该处理结果信息；该策略调整模块还用于：根据该处理结果信息，确定该处理模块处理该数据失败；根据该处理模块处理该数据失败，确定该发送模块重新发送该数据。

状态跟踪模块可以获取每个数据经过处理模块处理后的处理结果，并将每个数据的处理结果发送给策略调整模块。例如，可以将发送模块要发送的数据看作一个数据集合，第一数据为数据集合中的任意一个数据，该第一数据经过处理模块处理后，状态跟踪模块也会将该第一数据的处理结果信息发送给策略调整模块。若该处理模块处理该第一数据失败后，该策略调整模块就会收到该第一数据的处理失败信息；或者，超过预先设定的时间阈值，策略调整模块仍然没有收到该第一数据的处理结果信息，则策略调整模块认为该第一数据处理失败。这时，策略调整模块可以触发发送模块重新发送该第一数据，从而提高了处理数据的准确性。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，该策略调整模块具体用于：根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送速率。

策略调整模块接收到状态监控模块反馈的处理模块的处理状态信息，可以实时调整发送模块的发送策略。例如，若策略调整模块根据处理状态信息可以获知处理模块的处理能力很强，而数据量太小时，策略调整模块可以增大发送模块发送数据的速率；若策略调整模块根据处理状态信息获知处理模 块的处理能力很弱，且数据出现堆积时，策略调整模块可以调整发送模块减小发送数据的速率，甚至还可以暂时停止发送模块发送数据，从而提高了数据处理的效率。

结合第一方面及第一方面的第一种可能的实现方式和第一方面的第二种可能的实现方式中的任一种可能的实现方式，在第一方面的第三种可能的实现方式中，该策略调整模块具体用于：根据该处理状态信息，确定该发送模块发送该数据所需连接该处理模块的数目。