[发明专利]数据处理方法和数据处理平台

说明书

本发明公开了一种数据处理方法和数据处理平台，涉及计算机技术领域。该方法的一具体实施方式包括：接收待处理的源数据；将所述源数据与预先配置的多个目标场景进行匹配，得到所述源数据对应的至少一个目标场景；其中，每一目标场景中包括：该目标场景的所需数据的标识信息和用于表征该目标场景的数据输出方式的去向信息；对于所述源数据对应的每一目标场景，依据该目标场景中的所述标识信息和/或所述源数据获取该目标场景的所述所需数据，利用该目标场景中的所述去向信息输出基于所述所需数据生成的目标数据。该实施方式能够实现数据处理流程与业务逻辑的解耦。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和数据处理平台。

背景技术

流式数据是指顺序、大量、快速、连续到达的数据序列。在现有的流式数据处理技术中，首先获取源数据，之后根据具体的业务场景，采用硬编码方式实现场景匹配、数据溯源以及目标数据装配，最终指向某一个场景出口，从而实现与业务场景高度耦合的定制开发，其缺点在于：数据处理流程设计偏重业务场景，以实现业务场景为出发点，因此定制化程度高，与业务高度耦合，导致数据处理流程的通用性、扩展性及灵活性较低，当面对多种业务场景或者业务场景发生变化时，只能重复设计数据处理流程。另外，现有数据处理流程一般基于单一数据入口和出口执行数据的定向传输，无法满足实际业务需求。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和数据处理平台，能够实现数据处理流程与业务逻辑的解耦。

为实现上述目的，根据本发明的一个方面，提供了一种数据处理方法。

本发明实施例的数据处理方法包括：接收待处理的源数据；将所述源数据与预先配置的多个目标场景进行匹配，得到所述源数据对应的至少一个目标场景；其中，每一目标场景中包括：该目标场景的所需数据的标识信息和用于表征该目标场景的数据输出方式的去向信息；对于所述源数据对应的每一目标场景，依据该目标场景中的所述标识信息和/或所述源数据获取该目标场景的所述所需数据，利用该目标场景中的所述去向信息输出基于所述所需数据生成的目标数据。

可选地，所述方法进一步包括：在接收待处理的源数据之后，将所述源数据解析并反序列化，形成数据传输对象DTO。

可选地，所述方法进一步包括：在形成DTO之后，将所述DTO与多个预先配置的数据关联关系进行匹配，获得所述DTO对应的数据关联关系，将所述DTO与获得的数据管理关系绑定以形成业务数据对象BO。

可选地，所述源数据中包括数据来源信息，每一数据关联关系中包括匹配条件；以及，所述将所述DTO与多个预先配置的数据关联关系进行匹配，获得所述DTO对应的数据关联关系，包括：遍历预先配置的每一数据关联关系，判断所述DTO中的数据来源信息是否满足数据关联关系中的匹配条件；将判断结果为“是”的数据关联关系确定为所述DTO对应的数据关联关系。

可选地，所述源数据的数据来源信息包括数据库表的名称，每一数据关联关系中包括针对数据库表中特定字段的别名映射规则，所述别名映射规则表征特定字段原名称与别名的映射关系；以及，所述方法进一步包括：在获得所述DTO对应的数据关联关系之后，如果所述DTO中包括获得的数据关联关系指示的特定字段数据，则根据该数据关联关系中的别名映射规则生成特定字段数据对应的别名字段数据，并将该别名字段数据封装在所述DTO中；其中，该别名字段数据与该特定字段数据的字段名称基于该别名映射规则对应、且字段值相同。

可选地，每一目标场景中包括：该目标场景的至少一个触发条件；以及，所述将所述源数据与预先配置的多个目标场景进行匹配，得到所述源数据对应的至少一个目标场景，包括：遍历每一目标场景，判别形成的BO中的DTO是否满足目标场景的触发条件；将判别结果为“是”的至少一个目标场景确定为所述源数据对应的目标场景。