[发明专利]数据获取方法、装置、设备及计算机存储介质

说明书

本申请实施例提供了一种数据获取方法、装置、设备及计算机存储介质，该方法包括：根据租户与主题的第一对应关系实时从数据源中获取每个租户对应主题的数据；其中，第一对应关系包括每个租户对应的主题不同；将获取到的不同主题的数据存储于Kafka集群中对应主题的消息队列。本申请能够减少Kafka集群的内部数据冗余，有效提升Kafka集群资源的利用率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据获取方法、装置、设备及计算机存储介质。

背景技术

Kafka是一个由Scala和Java编写的开源流处理平台，作为一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据，数据处理速度可以高达每秒数十万条数据。

目前，现有技术中的大数据平台提供了共享Kafka集群方案，即多个租户共同使用一个Kafka集群。但该方案侧重于实现即时通讯平台的高并发建设，Kafka集群中的租户既是消费者又是生产者，容易产生Kafka集群的内部数据冗余，从而导致Kafka集群资源的利用率不高。

发明内容

本申请实施例提供了一种数据获取方法、装置、设备及计算机存储介质，能够减少Kafka集群的内部数据冗余，有效提升Kafka集群资源的利用率。

第一方面，提供了一种数据获取方法，该方法应用于系统，该系统包括多个租户，该方法包括：根据租户与主题的第一对应关系实时从数据源中获取每个租户对应主题的数据；其中，第一对应关系包括每个租户对应的主题不同；将获取到的不同主题的数据存储于Kafka集群中对应主题的消息队列。

在第一方面的一些可实现方式中，在将获取到的不同主题的数据存储于Kafka集群中对应主题的消息队列之后，该方法还包括：根据租户与主题的第二对应关系从对应主题的消息队列中读取每个租户对应主题的数据。

在第一方面的一些可实现方式中，该方法还包括：每个主题对应一个主题生命周期，主题生命周期用于更新Kafka集群中的存储数据。

在第一方面的一些可实现方式中，根据租户与主题的第二对应关系从对应主题的消息队列中读取每个租户对应主题的数据，包括：根据每个租户对应的访问字段和第二对应关系从对应主题的消息队列中读取每个租户对应主题的数据。

在第一方面的一些可实现方式中，主题包括：系统日志、应用日志、信令日志、用户行为、交易事件。

第二方面，提供了一种数据获取装置，该装置应用于系统，该系统包括多个租户，该装置包括：获取模块，用于根据租户与主题的第一对应关系实时从数据源中获取每个租户对应主题的数据；其中，第一对应关系包括每个租户对应的主题不同；存储模块，用于将获取到的不同主题的数据存储于Kafka集群中对应主题的消息队列。

在第二方面的一些可实现方式中，该装置还包括：读取模块，用于根据租户与主题的第二对应关系从对应主题的消息队列中读取每个租户对应主题的数据。

在第二方面的一些可实现方式中，该装置还包括：每个主题对应一个主题生命周期，主题生命周期用于更新Kafka集群中的存储数据。

在第二方面的一些可实现方式中，读取模块，具体用于：根据每个租户对应的访问字段和第二对应关系从对应主题的消息队列中读取每个租户对应主题的数据。

在第二方面的一些可实现方式中，主题包括：系统日志、应用日志、信令日志、用户行为、交易事件。

第三方面，提供了一种数据获取设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现第一方面或第一方面的一些可实现方式中的数据获取方法。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或第一方面的一些可实现方式中的数据获取方法。