[发明专利]基于消息队列的数据传输方法、装置及存储介质

说明书

本申请公开了一种基于消息队列的数据传输方法、装置、计算机设备及存储介质，该方法包括：接收消息生产者发送的消息数据，消息数据中携带消息生产者生成的消息和消息关联的数据源信息；确定数据源信息关联的消息队列，并根据数据源信息生成目标消息主题；在消息队列中确定出目标消息主题关联的目标存储区域，并将目标消息主题和消息存储至目标存储区域；当接收消息消费者发送的携带数据源信息的消息订阅请求后，根据数据源信息从消息队列的目标存储区域中拉取目标消息主题对应的消息并向消息消费者推送消息。采用本申请，可提高往消息队列中存储数据以及从消息队列中拉取数据的操作便捷性，提高数据传输的效率，适用性高。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于消息队列的数据传输方法、装置及存储介质。

背景技术

在大数据领域，消息队列是分布式系统中重要的组件，消息队列这种中间件主要解决应用耦合、异步消息、流量削峰等问题。现有基于消息队列的生产者和消费者应用中，上游生产者应用根据事先定义好的消息主题生成消息并发送到消息队列中间件中，下游消费者应用根据上游生产者应用事先约定好的消息主题消费应对的消息。然而在这样的应用模式中，当上游生产者生成的消息中消息主题发生变更时，必须通知下游消费者应用，开发人员对消费者应用做代码调整和二次开发以适应上游生产者生成的新的消息主题。此外，当消息队列中间件进行重新选型或技术升级时，上游生产者和下游消费者两端的应用架构都需要进行重构和代码的重新开发才能将消息存储至消息队列中或者从消息队列中拉取数据，操作繁琐，实现成本高，适用性差。

发明内容

本申请提供一种基于消息队列的数据传输方法、装置及存储介质，可提高往消息队列中存储数据以及从消息队列中拉取数据的操作便捷性，提高数据传输的效率，适用性高。

第一方面，本申请提供了一种基于消息队列的数据传输方法，该方法适用于消息管理者，该方法包括：

消息管理者接收消息生产者发送的消息数据，上述消息数据中携带上述消息生产者生成的消息和上述消息关联的数据源信息；

上述消息管理者确定上述数据源信息关联的消息队列，并根据上述数据源信息生成目标消息主题；

上述消息管理者在上述消息队列中确定出上述目标消息主题关联的目标存储区域，并将上述目标消息主题和上述消息存储至上述目标存储区域；

当接收到消息消费者发送的消息订阅请求且上述消息订阅请求中携带上述数据源信息时，上述消息管理者根据上述数据源信息从上述消息队列的上述目标存储区域中确定出上述目标消息主题，从上述目标存储区域中拉取上述目标消息主题对应的上述消息并向上述消息消费者推送上述消息。

结合第一方面，在一种可能的实施方式中，上述消息队列中包括上述目标存储区域在内的至少一个存储区域，一个存储区域关联一个消息主题并用于存储所述消息主题的消息，同一个消息主题的消息关联的数据源信息相同。

结合第一方面，在一种可能的实施方式中，上述数据源信息中包括上述消息所属数据源的数据源名称和上述数据源所属项目的项目名称，上述数据源所属项目中包括上述数据源在内的至少一个数据源；

上述根据上述数据源信息生成目标消息主题包括：

根据上述项目名称和上述数据源名称生成目标消息主题，其中，一个数据源名称对应一个消息主题。

结合第一方面，在一种可能的实施方式中，上述消息数据中包括携带在上述消息的头部信息中的消息模式标识，上述消息模式标识用于标识上述消息的消息模式，以供上述消息消费者基于所述消息模式对上述消息进行消费。

结合第一方面，在一种可能的实施方式中，上述消息管理者接收消息生产者发送的消息数据之后，上述方法还包括：

上述消息管理者将所述消息的消息模式注册到消息注册服务中心，通过上述消息注册服务中心生成上述消息的消息模式对应的消息模式标识；