[发明专利]数据处理方法、装置、设备和介质

说明书

本申请实施例公开了一种数据处理方法、装置、设备和介质，涉及数据处理领域，尤其涉及搜索和推荐领域。具体实现方案为：通过控制系统根据待生效数据状态，确定生效控制信息；通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据；通过所述生效系统对所述目标生效数据进行生效处理。本申请实施例提供了一种数据处理方法、装置、设备和介质，提高了数据的生效速度。

技术领域

本申请实施例涉及数据处理领域，尤其涉及搜索和推荐领域。具体地，本实施例提供了一种数据处理方法、装置、设备和介质。

背景技术

目前搜索和推荐场景下，高时效性的内容越来越多，比如热门赛事新闻、小说连载更新、股票实时价格和曲线、体育和游戏直播，这些高时效性内容需要及时(秒级或者分钟级)生效到线上系统，使得用户可以第一时间通过搜索和推荐获取时效性内容。高时效性的内容在上线之前需要经过内容的加工、融合和计算等多个处理逻辑的处理。

目前普遍采用如下方法进行内容生效：

直接将各个处理逻辑串联起来，内容达到系统后顺序经过这些处理逻辑，直到生效到线上。

然而，上述方案存在如下缺点：

在大数据量下，极容易导致拥塞，从而使得无法及时生效。

发明内容

本申请实施例提供一种数据处理方法、装置、设备和介质，以提高数据的生效速度。

本申请实施例提供了一种数据处理方法，该方法包括：

通过控制系统根据待生效数据状态，确定生效控制信息；

通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据；

通过所述生效系统对所述目标生效数据进行生效处理。

本申请实施例可以实现如下技术效果:通过将串联的生效逻辑拆分由生效系统和控制系统实现，从而实现对生效处理逻辑的解耦，解决在大数据量下，串联处理逻辑极容易导致拥塞的问题，进而提高数据的生效速度。

进一步地，所述控制系统和所述生效系统并发执行。

基于该技术特征，本申请实施例可以实现如下技术效果:通过对所述控制系统和所述生效系统并发执行，以进一步提高数据的生效速度。

进一步地，所述通过生效系统从所述生效控制信息中获取目标生效控制信息，并根据所述目标生效控制信息从待生效数据中选择目标生效数据，包括：

所述生效系统从控制队列中获取所述目标生效控制信息，并根据所述目标生效控制信息从数据队列中选择所述目标生效数据；

其中，所述控制系统将确定的生效控制信息经数据总线，推送至所述控制队列，平台系统将待生效数据经数据总线，推送至所述数据队列。

基于该技术特征，本申请实施例可以实现如下技术效果：通过从控制队列中获取目标数据种类和所述目标数据种类的生效数据量，从数据队列中获取目标生效数据，相比轮询数据库的数据访问方式，因为本实施例的技术方案无需基于索引对数据进行查询，所以本实施例可以减轻数据总线的压力，进而提高数据处理速度。

进一步地，所述目标生效控制信息包括目标数据种类和所述目标数据种类的生效数据量。

基于该技术特征，本申请实施例可以实现如下技术效果：通过根据目标数据种类和所述目标数据种类的生效数据量，确定目标生效数据，从而实现将大数据量的不同种类的数据进行区分，将高时效种类的数据优先生效到线上。

进一步地，所述根据待生效数据状态，确定生效控制信息，包括：