[发明专利]一种基于流批一体的多维数据处理方法及系统

权利要求书

1.一种基于流批一体的多维数据处理方法，应用在金融行业信用卡业务中，其特征在于，包括：

获取业务需求信息，并对业务需求信息通过预设的方法进行解析，获取数据字段和数据处理逻辑；

基于数据字段，从预设组件库中提取数据源和数据宿；

基于数据处理逻辑，从预设组件库中匹配出相应算子；

对数据源、算子和数据宿进行流程化拼接，获取流程配置信息。

2.根据权利要求1所述的一种基于流批一体的多维数据处理方法，其特征在于，所述业务需求信息还包括数据执行条件，对业务需求信息通过预设的方法进行解析，获取数据字段和数据处理逻辑，包括：

对业务需求信息，通过预设的自然语言处理模型提取关键词；

基于关键词，通过预设的数据关联规则模型生成关联数据信息；

基于数据执行条件，通过预设的算子规则进行匹配，获取数据处理逻辑；

基于关联数据信息和数据处理逻辑，获取数据字段。

3.根据权利要求2所述的一种基于流批一体的多维数据处理方法，其特征在于，所述基于关联数据信息和数据处理逻辑，获取数据字段，包括：

基于关联数据信息和数据处理逻辑，确认数据生产者和数据消费者；

若数据生产者不止一个，则根据多个数据生产者，获取数据联合处理逻辑，以作为补充数据处理逻辑；

将补充数据处理逻辑添加到数据处理逻辑中，以形成新的数据处理逻辑；

基于关联数据信息和新的数据处理逻辑，获取数据字段。

4.根据权利要求3所述的一种基于流批一体的多维数据处理方法，其特征在于，所述基于数据字段，从预设组件库中提取数据源和数据宿，包括：

根据数据生产者和数据消费者，确定业务涉及的数据类型；

基于数据字段，获取数据传输通道信息；

根据数据传输通道信息和数据类型，从预设的组件库中匹配出对应的数据源和数据宿。

5.根据权利要求1所述的一种基于流批一体的多维数据处理方法，其特征在于，所述数据源包括属性配置项，数据宿包括配置字段名称，所述对数据源、算子和数据宿进行流程化拼接，获取流程配置信息，包括：

基于属性配置项，构建数据参数字段；

根据数据参数字段和算子，获取数据输出信息；

将数据输出信息同配置字段名称，通过预设的方法进行匹配，获取匹配结果；

判断匹配结果是否达到预设的阈值，

若是，则根据当前的数据源、算子以及数据宿，按照预设的方式进行流程连接，并添加相应的属性配置，以获取流程配置信息；

若否，则获取未能成功匹配的字段名称，并输入第一提示信息，所述第一提示信息表征的是流程配置失败，需进行相应调整。

6.根据权利要求1所述的一种基于流批一体的多维数据处理方法，其特征在于，所述业务需求信息包括所属业务场景，所述获取流程配置信息之后，还包括：

对流程配置信息通过预设的验证方法进行数据校验，并获取数据校验结果；

判断校验结果中是否包含有异常信息，

若是，则获取异常信息，并输出第二提示信息，所属第二提示信息表征的是数据验证失败，需进行相应调整；

若否，则将流程配置信息保存为与所属场景对应的流程配置模板，并将该流程配置模板存储到预设流程配置管理库中。

7.根据权利要求6所述的一种基于流批一体的多维数据处理方法，其特征在于，将该流程配置模板存储到预设流程配置管理库中之后，还包括：

将流程配置模板所对应的业务需求信息作为所属场景的下级标签；

将流程配置模板与所对应的业务需求信息进行关联存储；

基于流程配置模板对应的业务需求信息，通过预设的方式进行重组，以获取重组业务需求信息；

根据重组业务信息，通过预设的方法进行解析，并获取对应的流程配置模板；

将获取的流程配置模板与所对应的重组业务需求信息进行关联存储。