[发明专利]一种数据处理方法、装置、设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取与目标任务对应的数据接入规则，所述数据接入规则包括任务信息和数据处理规则，所述任务信息中包括至少一项待处理的数据源；

根据所述任务信息，判断所述待处理的数据源的类型，并调用与每个所述数据源的类型分别对应的数据源读取类，读取至少一项数据源；

将读取得到的数据写入至消息队列中，从所述消息队列中获取所述数据，并根据所述数据处理规则对所述数据进行处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述方法集成于网页Web管理组件，以及至少一个数据接入组件中实现，所述方法具体包括：

通过所述Web管理组件获取与所述目标任务对应的所述数据接入规则；

通过所述数据接入组件根据所述任务信息，判断所述待处理的数据源的类型，并调用与每个所述数据源的类型分别对应的所述数据源读取类，读取至少一项所述数据源；

通过所述数据接入组件将读取得到的所述数据写入至所述消息队列中，从所述消息队列中获取所述数据，并根据所述数据处理规则对所述数据进行处理。

3.根据权利要求2所述的数据处理方法，其特征在于，所述数据接入组件为java存档文件jar包；

在通过所述Web管理组件获取与目标任务对应的数据接入规则之后，还包括：

通过所述Web管理组件如果检测到对所述目标任务的启动指令，则设置所述目标任务的处理状态为启动状态；

通过所述Web管理组件向所述数据接入组件发送与所述目标任务对应的jar命令，以控制所述数据接入组件开始执行数据的读取及处理操作，所述jar命令中包括有用于识别所述至少一项数据源的类型的任务信息；

通过所述Web管理组件如果检测到对所述目标任务的停止指令，则设置所述目标任务的处理状态为停止状态；

所述方法还包括：通过所述数据接入组件如果检测到所述目标任务的处理状态为停止状态，则停止所述数据的读取及处理操作。

4.根据权利要求2所述的数据处理方法，其特征在于，通过所述数据接入组件调用与每个所述数据源的类型分别对应的所述数据源读取类，具体包括：

通过所述数据接入组件根据所述数据源的类型，查找是否存在与所述数据源的类型对应的数据源读取类；

通过所述数据接入组件如果确定存在所述数据源读取类，则调用该数据源读取类；

通过所述数据接入组件如果确定不存在所述数据源读取类，则从读取类库中获取与所述数据源的类型对应的所述数据源读取类，添加于所述数据接入组件中，并调用该数据源读取类。

5.根据权利要求2所述的数据处理方法，其特征在于，通过所述数据接入组件读取至少一项所述数据源，具体包括：

通过所述数据接入组件建立第一数量的线程，并使用所述第一数量的线程根据所述数据源读取类对所述数据源进行读取；

通过所述数据接入组件从所述消息队列中获取所述数据，具体包括：

通过所述数据接入组件建立第二数量的线程，并使用所述第二数量的线程从所述消息队列中获取所述数据，并在确定超过预设时间无法获取到数据时，停止所述目标任务；

其中，所述第一数量与所述第二数量的取值相同或者不同。

6.根据权利要求2或3所述的数据处理方法，其特征在于：

所述Web管理组件设置在主服务器上，所述数据接入组件设置在所述主服务器和至少一个从服务器上，或者，所述Web管理组件与所述数据接入组件同时设置在所述主服务器上。