[发明专利]一种实时数据处理方法和装置

权利要求书

1.一种实时数据处理方法，其特征在于，包括执行以下步骤：

确定实时数据处理启用手动模式或自动模式执行内存处理任务；

响应于启用自动模式，而为每个所述处理任务分配预定数量的内存以启动所述处理任务；

响应于所述处理任务启动而周期性地监控所述处理任务，并响应于所述处理任务所需的内存不足而动态申请内存；

响应于申请到内存而根据所述处理任务的优先级来选择性地将内存分配给提出动态申请的所述处理任务；

所述处理任务所需的内存不足包括：执行所述处理任务所需的内存小于可用最大内存与增量比例阈值之积，并且所述增量比例阈值小于1；

响应于所述处理任务所需的内存不足而动态申请内存包括：响应于所述处理任务所需的内存小于可用最大内存与增量比例阈值之积，而调整优先可用内存参数使得在有更多内存资源可分配时为所述处理任务动态申请内存；

所述方法还包括：动态申请内存的量小于原始总内存与第一比例阈值之积时，基于所述处理任务的运行情况以第一增长速度动态申请内存；动态申请内存的量大于原始总内存与第一比例阈值之积、且小于原始总内存与大于第一比例阈值的第二比例阈值之积时，基于所述处理任务的运行情况以小于第一增长速度的第二增长速度动态申请内存；动态申请内存的量大于原始总内存与第二比例阈值之积、且小于原始总内存与大于第二比例阈值的第三比例阈值之积时，基于所述处理任务的运行情况以小于第二增长速度的第三增长速度动态申请内存；

所述方法还包括：响应于动态申请内存的量大于原始总内存与第三比例阈值之积而停止申请任何额外的内存。

2.根据权利要求1所述的方法，其特征在于，还包括：监控所述处理任务的同时还分别判断每个所述处理任务的内存分配优先级；

根据所述处理任务的优先级来选择性地将内存分配给所述处理任务包括：优先为所述内存分配优先级更高的所述处理任务分配内存，其中所述优先级基于以下至少之一而确定：任务的数据量、处理时间、和等待时间。

3.根据权利要求1所述的方法，其特征在于，内存为AEP内存；方法还包括：基于所述处理任务的运行情况而动态调整AEP内存在内存模式、硬盘模式、或混合模式下工作、和/或动态调整在混合模式下工作的AEP内存的内存-硬盘比例。

4.根据权利要求1所述的方法，其特征在于，还包括：

响应于启用手动模式，而周期性地确定所述处理任务的执行结果、数据量、等待时间、和前进速度；

响应于获得所述处理任务的执行结果、数据量、等待时间、和前进速度，而使用动态优先级算法确定所述处理任务的运行顺序和排队顺序；

响应于确定所述处理任务的运行顺序和排队顺序而据此在下一个周期调整所述处理任务。