[发明专利]可配置的流程数据处理方法、装置及设备

说明书

本发明涉及数据处理技术领域，其实施方式提供了一种可配置的流程数据处理方法、装置及设备。其中可配置的流程数据处理方法，所述方法包括：根据数据的所属行业和对应业务确定关联字段；根据所述关联字段从响应于业务环节操作的数据流中提取报文；根据所提取的报文的类型将所述报文映射为以所述关联字段为内容的第一报文格式或以所述关联字段为行键的第二报文格式；根据映射后的报文完成业务环节操作与数据库的交互操作，以实现对所述业务环节操作的响应。本发明提供的实施方式能够解决多流关联的时效性，以及提升多表关联的效率。

技术领域

本发明涉及数据处理技术领域，具体地涉及一种可配置的流程数据处理方法、一种可配置的流程数据处理装置、一种可配置的流程数据处理设备以及对应的存储介质。

背景技术

目前基于Hbase的海量数据查询，在其他行业已经有一定的应用场景，例如电商平台有使用Hbase存储交易数据并提供查询，但其流程一般较为简单，数据之间的关联性及耦合度均较低，可以使用Hbase进行单点查询。银行业务的复杂性决定了一笔业务从开始到结束必然会经过多个环节，且一个环节涉及多条关联数据，这就决定了银行交易数据的复杂度较高，存在海量明细数据与精简数据相结合的场景，其他行业使用Hbase的方式，不能满足银行复杂数据处理的要求。

目前银行业的交易数据处理，会针对系统数据量级，设计不同的处理架构。传统处理方式是将数据存储在oracle或者mysql这种关系型数据中，并对外提供高时效性的查询服务。另外，近年来随着大数据业务的蓬勃发展，传统的关系型数据库已经无法应对海量数据的处理，故主流的大数据处理方式是将数据存储到Hbase这种非关系型数据库中，但由于Hbase的局限性，无法支持复杂查询逻辑的场景，例如基于多表关联以及多查询条件，效率低。因此，上述两种主流的处理方式，其缺点是显而易见的，关系型数据库能支持复杂查询逻辑，但无法应对海量数据处理；非关系型数据库可以存储海量数据，但不能支持客户灵活的查询逻辑。

发明内容

本发明实施例的目的是提供一种可配置的流程数据处理方法、装置及设备。

为了实现上述目的，本发明第一方面提供一种可配置的流程数据处理方法，所述方法包括：根据数据的所属行业和对应业务确定关联字段；根据所述关联字段从响应于业务环节操作的数据流中提取报文；根据所提取的报文的类型将所述报文映射为以所述关联字段为内容的第一报文格式或以所述关联字段为行键的第二报文格式；根据映射后的报文完成业务环节操作与数据库的交互操作，以实现对所述业务环节操作的响应。

优选的，在根据数据的所属行业和对应业务确定关联字段之前，所述方法还包括：将所述业务分为多个业务流程，为所述业务流程定义业务流程定义表；将每个业务流程分为多个流程环节，为所述流程环节定义流程环节定义表。

优选的，根据所述关联字段从响应于业务环节操作的数据流中提取报文，包括：将所述响应于业务环节操作的数据流存入Guava与Redis所组成的混合缓存中；判断从所述输入的数据流中提取的报文的关联字段是否在所述混合缓存中存在；若不存在，则将所述数据进行压缩后保留在所述混合缓存中。

优选的，所述方法还包括：将结果数据分为多个类型，根据不同类型的结果数据的数量级，将结果数据按所述类型存储至对应的数据库中。

优选的，以所述关联字段为内容的第一报文格式包括行键，所述行键采用以下步骤进行确定：获取预定义的行键要素以及所述行键要素的顺序，按所述行键要素的顺序从所述数据中提取的行键要素进行组合后得到所述行键。

优选的，所述报文的类型包括请求报文、响应报文和前端报文；所述根据映射后的报文完成业务环节操作与数据库的交互操作，以实现对所述业务环节操作的响应，包括：根据业务查询条件得到请求报文；提取所述请求报文中的关联字段，进行响应报文和前端报文的查询；根据获取到的请求报文、响应报文和前端报文实现对所述业务环节操作的响应。

在本发明的第二方面提供了一种可配置的流程数据处理装置，所述装置包括：