[发明专利]数据处理方法、系统、电子设备以及存储介质

说明书

本申请涉及人工智能领域，提供了一种数据处理方法、系统、电子设备以及存储介质，应用于包括消息系统、多个第一业务系统与多个第二业务系统的大数据系统，所述多个第一业务系统用于生成数据，所述多个第二业务系统用于通过所述消息系统消费所述多个第一业务系统生成的数据，本申请通过获取第二业务系统发送的第一预设条件，在基于第二预设条件从消息系统中获取到的数据上，对数据进行再次处理，再将处理后的数据发送给第二业务系统，可以避免第二业务系统获取到较多无用信息，减轻数据传输负担。

技术领域

本申请涉及大数据的数据处理领域，尤其涉及一种数据处理方法、系统、电子设备以及存储介质。

背景技术

消息系统通过采集第一业务系统的数据，对第一业务系统的数据进行管理，并为第二业务系统提供数据。第一业务系统提供的数据量较大，包括多个消息类型，第二业务系统是通过与某一个消息类型建立关联，进而从消息系统中获取指定范围的数据的。

但是第二业务系统和消息类型之间的关联一旦制定后，第二业务系统的用户不可更改该预设条件，但第二业务系统在不同应用场景中，不一定需要使用该消息类型中的所有数据。

因此，如何让第二业务系统不获取到过多冗余的数据，亟待解决。

发明内容

本申请提供了一种数据处理方法、系统、电子设备以及存储介质，通过获取第二业务系统发送的第一预设条件，在基于第二预设条件从消息系统中获取到的数据上，对数据进行再次处理，再将处理后的数据发送给第二业务系统，可以避免第二业务系统获取到较多无用信息，减轻数据传输负担。

目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。

第一方面，本申请提供了一种数据处理方法，其特征在于，应用于包括消息系统、多个第一业务系统与多个第二业务系统的大数据系统，多个第一业务系统用于生成数据，多个第二业务系统用于通过所述消息系统消费多个第一业务系统生成的数据，该方法包括：消息系统获取第二业务系统的数据访问请求，数据访问请求包括第二业务系统的标识以及第一预设条件，第一预设条件是第二业务系统的用户设置的；消息系统根据第二业务系统的标识，确定与第二业务系统关联的目标消息类型和第二预设条件，第二预设条件是第二业务系统关联的条件和/或目标消息类型关联的条件；消息系统根据第二预设条件从目标节点中获取目标消息类型对应的数据中的第一数据，并根据第一预设条件从第一数据中获取目标数据，目标节点是存储目标消息类型的数据的多个节点中的主节点；消息系统将目标数据发送给第二业务系统。

第二方面，本申请提供了一种大数据系统，用于包括管理系统、多个第一业务系统与多个第二业务系统的大数据系统，多个第一业务系统用于生成数据，多个第二业务系统用于通过所述消息系统消费多个第一业务系统生成的数据：第一业务系统向消息系统发送数据；消息系统将第一业务系统发送的数据进行序列化操作得到序列化后的数据；消息系统将序列化后的数据存储到目标节点中；第二业务系统向消息系统发送数据访问请求，数据访问请求包括第二业务系统的标识以及第一预设条件；消息系统根据第二业务系统的标识，确定与第二业务系统关联的目标消息类型和第二预设条件；消息系统根据第二预设条件从目标节点中获取目标消息类型对应的数据中的第一数据，并根据第一预设条件从第一数据中获取目标数据；消息系统将目标数据进行反序列化操作；消息系统将反序列化后的目标数据发送给第二业务系统。