[发明专利]一种大数据处理方法、装置、系统、设备和存储介质

权利要求书

1.一种大数据处理系统，其特征在于，包括：

批计算引擎和流计算引擎；

所述批计算引擎，用于按照第一业务规则，对历史数据进行统计，得到数据统计结果；所述第一业务规则为，针对数据处理时长大于预设阈值的数据处理任务，预先制定的业务规则；

所述批计算引擎，还用于按照预设间隔时间，将所述数据统计结果发送给所述流计算引擎；

所述流计算引擎，用于获取实时流数据，并按照第二业务规则，对所述实时流数据进行实时处理，得到实时处理结果，通过预设窗口展示所述实时处理结果；所述第二业务规则为，针对所述数据处理时长不大于所述预设阈值的数据处理任务，预先制定的业务规则；

所述流计算引擎，还用于在触发业务汇总任务的情况下，按照所述业务汇总任务所指示的业务规则，对所述数据统计结果和所述实时处理结果进行汇总，得到业务汇总结果，并通过所述预设窗口展示所述业务汇总结果；所述业务汇总任务为，在预设周期时间内对所述历史数据和所述实时流数据进行汇总的任务。

2.根据权利要求1所述的系统，其特征在于，还包括：

数据同步引擎；

所述数据同步引擎，用于按照所述预设间隔时间，将所述数据库中预存的所述历史数据发送给所述批计算引擎。

3.根据权利要求2所述的系统，其特征在于，所述数据同步引擎还用于：

接收所述批计算引擎发送的所述数据统计结果，并将所述数据统计结果发送给所述流计算引擎。

4.根据权利要求2所述的系统，其特征在于，所述数据同步引擎还用于：

接收所述实时流数据，并将所述实时流数据存储至所述数据库中。

5.根据权利要求2所述的系统，其特征在于，所述数据同步引擎还用于：

按照所述预设间隔时间，清空所述数据库中的所述历史数据。

6.一种大数据处理方法，其特征在于，包括：

按照第一业务规则，对历史数据进行统计，得到数据统计结果；其中，所述第一业务规则为，针对数据处理时长大于预设阈值的数据处理任务，预先制定的业务规则；

获取实时流数据，并按照第二业务规则，对所述实时流数据进行实时处理，得到实时处理结果，通过预设窗口展示所述实时处理结果；所述第二业务规则为，针对所述数据处理时长不大于所述预设阈值的数据处理任务，预先制定的业务规则；

在触发业务汇总任务的情况下，按照所述业务汇总任务所指示的业务规则，对所述数据统计结果和所述实时处理结果进行汇总，得到业务汇总结果，并通过所述预设窗口展示所述业务汇总结果；所述业务汇总任务为，在预设周期时间内对所述历史数据和所述实时流数据进行汇总的任务。

7.根据权利要求6所述的方法，其特征在于，还包括：

将所述实时流数据存储至预设的数据库中；

按照所述预设间隔时间，清空所述数据库中预存的所述历史数据。

8.一种大数据处理装置，其特征在于，包括：

统计单元，用于按照第一业务规则，对历史数据进行统计，得到数据统计结果；其中，所述第一业务规则为，针对数据处理时长大于预设阈值的数据处理任务，预先制定的业务规则；

实时处理单元，用于获取实时流数据，并按照第二业务规则，对所述实时流数据进行实时处理，得到实时处理结果，通过预设窗口展示所述实时处理结果；所述第二业务规则为，针对所述数据处理时长不大于所述预设阈值的数据处理任务，预先制定的业务规则；

汇总单元，用于在触发业务汇总任务的情况下，按照所述业务汇总任务所指示的业务规则，对所述数据统计结果和所述实时处理结果进行汇总，得到业务汇总结果，并通过所述预设窗口展示所述业务汇总结果；所述业务汇总任务为，在预设周期时间内对所述历史数据和所述实时流数据进行汇总的任务。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求6-7所述的大数据处理方法。

10.一种大数据处理设备，其特征在于，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；

所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行权利要求6-7所述的大数据处理方法。