[发明专利]一种自动调节数据处理时间窗口的方法和装置

说明书

本申请公开了一种自动调节数据处理时间窗口的方法，包括获取将要处理的数据量；根据将要处理的数据量和标准数据处理时间窗口判断是否需要调节当前的数据处理时间窗口，所述标准数据处理时间窗口是事先设置用于参考的数据处理时间窗口；如果需要调节，则按照事先设置的数据处理时间窗口记录表确定新的数据处理时间窗口，并将新的数据处理时间窗口作为当前的数据处理时间窗口，所述数据处理时间窗口记录表包括数据处理时间窗口和单个窗口处理能力值之间的对应关系。应用本申请公开的技术方案，能够根据数据量情况动态调节数据处理时间窗口，既可以应付普通数据的处理，也可以在洪峰数据到来时及时采取相应的策略，保证数据处理的畅通。

技术领域

本申请涉及大数据处理技术领域，特别涉及一种自动调节数据处理时间窗口的方法和装置。

背景技术

随着电子商务的发展，人们越来越习惯在网络上购买商品进行交易，甚至出现引导人们网上消费的购物节。在这些购物集中的时间段，成千上万的客户端会从四面八方几乎同时提交购物订单。这些订单产生的数据如洪水一样会冲击网络侧的后端系统以及大数据计算平台，造成数据洪峰。

如何应对这样的数据洪峰已经成为目前大数据处理比较棘手的问题。随着大数据的快速发展，业务场景也越来越复杂，离线式的批处理框架MapReduce已经不能满足业务需求，大量的场景需要实时数据处理结果来进行分析和决策。实时计算通常基于分布式并行计算框架，单机对于短时间高数据量远远达不到实时处理的效果。但即使是分布式并行计算框架下，面对数据洪峰情况，现有技术通常会增加服务器或者对已有的服务器进行扩容，以此提高后端系统对大数据处理的能力。但这种方式主要是增加硬件设施，导致硬件成本和维护成本的升高。

发明内容

本申请提供了一种自动调节数据处理时间窗口的方法，可以在不增加硬件成本的基础上，应付洪峰数据的处理。

本申请自动调节数据处理时间窗口的方法包括：

获取将要处理的数据量；

根据将要处理的数据量和标准数据处理时间窗口判断是否需要调节当前的数据处理时间窗口，所述标准数据处理时间窗口是事先设置用于参考的数据处理时间窗口；

如果需要调节，则按照事先设置的数据处理时间窗口记录表确定新的数据处理时间窗口，并将新的数据处理时间窗口作为当前的数据处理时间窗口，所述数据处理时间窗口记录表包括数据处理时间窗口和单个窗口处理能力值之间的对应关系。

进一步地，所述获取将要处理的数据量的步骤包括：

获取数据队列中数据的当前位置；

获取记录的数据队列中数据的上一次位置；

根据所述当前位置和上一次位置确定要处理的数据量。

进一步地，所述根据将要处理的数据量和标准数据处理时间窗口判断是否需要调节当前的数据处理时间窗口的步骤包括：

根据所述将要处理的数据量和所述标准数据处理时间窗口对应的数据处理能力值，判断将要处理的数据量是否存在积压，如果没有积压，则将所述标准数据处理时间窗口作为新的数据处理时间窗口；否则，

计算所述将要处理的数据量和所述标准数据处理时间窗口对应的数据处理能力值的比值，并根据比值结果确定是否需要调整当前的数据处理时间窗口。

进一步地，所述数据处理时间窗口记录表包括标准数据处理时间窗口、超高数据处理时间窗口和洪峰数据处理时间窗口，所述超高数据处理时间窗口大于所述标准数据处理时间窗口，所述洪峰数据处理时间窗口大于所述超高数据处理时间窗口；

所述数据处理时间窗口和单个窗口处理能力值之间的对应关系包括：

标准数据处理时间窗口，和单个标准数据处理时间窗口对应的处理能力值；