[发明专利]数据处理方法、装置、服务器及存储介质

说明书

本申请提供了一种数据处理方法、装置、服务器及存储介质，涉及大数据处理技术领域。该方法包括：接收多个事件请求，每个事件请求为用户的操作行为所触发的追踪事件所对应的事件请求，每个事件请求包括：操作行为对应的数据；生成多个批文件，每个批文件包括：至少一个事件请求所包括的数据；响应每个批文件的生成操作，触发每个批文件对应的调用指令；向云服务器发送调用指令，调用指令用于调用云服务器上的无服务应用程序，对每个批文件进行处理。通过采用云服务器上的无服务应用程序对生成的批文件进行分批处理，当出现多个批文件时，系统会自动扩展多个应用程序对批文件进行处理，从而实现了集群系统扩展的灵活性。

技术领域

本发明涉及大数据处理技术领域，具体而言，涉及一种数据处理方法、装置、服务器及存储介质。

背景技术

随着移动互联网的飞速增长，互联网广告的展示、点击、转化及In-App事件(客户端操作)等过程中产生的数据都呈现指数级的增长，作为第三方的移动互联网公司，普遍存在着百亿级的海量数据存储和分析的需要。海量数据的统计和存储一般分为实时和离线两种模式：实时模式，实现大数据的实时统计展现，用于向运营人员、技术支持人员提供最直接最灵敏的数据反馈；离线模式，用于实现后台的长周期数据分析、离线训练、机器学习等任务的执行。

通常，对于海量数据实时模式的架构实现，首先需要通过集群系统对获取的流数据进行处理，再将处理结果发送至分布式消息系统来进行后续的处理。

但是，当遇到流量突增的情况时，为了满足数据的处理要求，需要运维人员对上述的集群系统进行扩展和升级，从而使得计算成本相对变高、集群系统的弹性扩展灵活性较低。

发明内容

有鉴于此，本申请实施例的目的在于提供一种数据处理方法、装置、服务器及存储介质，用于解决现有技术中存在的集群系统弹性扩展灵活性较低的问题。

第一方面，本申请实施例提供了一种数据处理方法，该方法包括：

接收多个事件请求，每个所述事件请求为用户的操作行为所触发的追踪事件所对应的事件请求，每个所述事件请求包括：所述操作行为对应的数据；

生成多个批文件，每个所述批文件包括：至少一个所述事件请求所包括的数据；

响应每个所述批文件的生成操作，触发每个所述批文件对应的调用指令；

向云服务器发送所述调用指令，所述调用指令用于调用所述云服务器上的无服务应用程序，对每个所述批文件进行处理。

可选地，所述生成多个批文件，包括：

根据预设的缓存大小，将多个所述事件请求所包括的数据划分为多个所述批文件，每个所述批文件的大小为所述预设的缓存大小；或者，根据预设的时间周期，将多个所述事件请求所包括的数据划分为多个所述批文件，每个所述批文件包括：同一时间周期内的至少一个所述事件请求所包括的数据。

可选地，所述响应每个所述批文件的生成操作，触发每个所述批文件对应的调用指令，包括：

响应每个所述批文件的生成操作，触发每个所述批文件对应的调用事件；

生成所述调用事件对应的云服务应用程序的调度指令作为每个所述批文件对应的调用指令。

可选地，所述调用指令用于调用所述云服务器上的无服务应用程序，对每个所述批文件进行聚合分析的算子操作；所述方法还包括：

接收所述云服务器发送的多个流消息，每个流消息包括：一个所述批文件聚合分析后的数据；

向预设的数据库和/或搜索引擎中写入所述聚合分析后的数据。

可选地，所述向预设的数据库和/或搜索引擎中写入所述聚合分析后的数据，包括：