[发明专利]一种数据处理方法及装置

说明书

本发明实施例公开了一种数据处理方法及装置，所述数据处理方法包括：采集器管理器确定第一业务数据的数据类型，第一业务数据是采集器通过预设端口采集得到的；采集器管理器根据数据类型，确定采集器处理第一业务数据所需的各类资源的资源量，资源包括CPU资源、内存资源或者输入输出端口IO资源；采集器管理器根据采集器所需的资源量，向采集器分配资源。采用本发明实施例，可有效提高采集器的数据处理效率。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着互联网的发展，计算机需要处理的数据与日俱增，例如网络日志，通过路由器或者防火墙等配置的配置信息，登录或者支付等过程中的认证信息等。以网络日志为例，网络日志的数据量越来越大，对日志系统的日志采集能力的要求也就越来越高。传统的日志系统通过增加日志采集器的数量的方式提高日志采集能力，日志采集器用于对采集到的网络日志进行结构解析，并将结构解析得到的网络日志进行IO存储或者数据上报。但是，增加日志采集器的数量，将增加终端运营成本，并且无法有效提升日志采集器的日志采集能力。

发明内容

本申请提供一种数据处理方法及装置，用以提高采集器的数据处理效率。

第一方面提供了一种数据处理方法，包括：

采集器管理器确定第一业务数据的数据类型，所述第一业务数据是采集器通过预设端口采集得到的；

所述采集器管理器根据所述数据类型，确定所述采集器处理所述第一业务数据所需的各类资源的资源量，所述资源包括CPU资源、内存资源或者IO资源；

所述采集器管理器根据所述采集器所需的资源量，向所述采集器分配所述资源。

在第一种可能的实现方式中，所述采集器管理器根据所述数据类型，确定所述采集器处理所述第一业务数据所需的各类资源的资源量，包括：

所述采集器管理器确定所述第一业务数据的数据量与所述采集器当前需要处理的所有业务数据的数据量之间的比值；

所述采集器管理器根据所述第一业务数据的数据类型，从预先存储的数据类型与资源耗费指数的对应关系中，获取所述采集器处理所述第一业务数据时的耗费指数，所述资源耗费指数包括至少两个维度，每个维度对应一类资源且与其他维度对应的资源不同，所述资源耗费指数中每个维度的值是通过预先比较所述采集器在处理相同数量的不同数据类型的业务数据时，所消耗的该维度对应资源的相对量而确定的；

所述采集器管理器将所述采集器处理所述第一业务数据时的耗费指数与所述比值相乘，得到需要给所述采集器分配的所述资源的资源量。

结合第一方面或者第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述采集器通过至少两个业务进程分阶段地顺序处理所述第一业务数据，每个业务进程分别对应一个处理阶段；

所述采集器管理器根据所述采集器所需的资源量，向所述采集器分配所述资源，包括：

针对每个业务进程，所述采集器管理器根据所述第一业务数据的数据类型，从预先存储的业务进程与资源权值的对应关系中，获取所述业务进程处理所述第一业务数据时所需各类资源的权值，所述资源权值包括至少两个维度，每个维度对应一类资源且与其他维度对应的资源不同；

所述采集器管理器将所述业务进程处理所述第一业务数据时所需资源的权值与所述采集器所需的所述资源的资源量相乘，得到所述业务进程处理所述第一业务数据所需的所述资源的资源量；

所述采集器管理器根据所述业务进程所需的资源量，向所述业务进程分配所述资源。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述采集器管理器根据所述业务进程所需的资源量，向所述业务进程分配所述资源之后，还包括：