[发明专利]数据处理方法及系统

说明书

本公开提供一种数据处理方法及系统，涉及通信领域，具体涉及大数据领域，能够解决数据筛选时筛选模型兼容性差及无法保护筛选模型安全性的问题。具体技术方案为：首先用户上传自定义筛选模型，并在该筛选模型通过验证之后作为预设筛选模型；再获取用户的数据筛选请求，通过预设筛选模型确定对应的数据指标；通过该数据指标获取对应的用户信用数据；最后通过预设筛选模型处理该用户信用数据生成目标用户数据。通过本公开提供的数据处理方法能够兼容多种筛选模型，且能够提高数据筛选传输过程中筛选模型、用户数据的安全性。本发明用于数据筛选。

技术领域

本公开涉及通信领域，尤其涉及数据处理方法及系统。

背景技术

随着社会发展及数据时代的到来，数据应用已经深入到各行各业，为了更好的，如何在海量数据中选出有价值的数据十分重要。

现有的数据筛选技术及方法主要由数据抽取、数据清理、数据加载三个部分组成。具有如下缺点：

1、在大数据环境下，现有技术中，为了实现用户不同的数据筛选需求，需要定制化研发对应的数据筛选模型，所以无法实现不同数据筛选模型之间的兼容及适配。

2、现有技术中的筛选技术需要执行筛选的一方明确知道数据源、目标源的数据结构并及筛选转换算法及模型，当需求方需要保护算法及模型时，现有技术方法无法应对。

发明内容

本公开实施例提供一种数据处理方法及系统，能够解决数据筛选时筛选模型兼容性差及无法保护筛选模型安全性的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种数据处理方法，该方法包括：

获取目标用户数据筛选请求，用户筛选请求，是指根据目标筛选结果确定对应的目标用户数据；

根据预设筛选模型解析目标用户数据筛选请求，确定目标指标数据；

根据目标指标数据，获取目标用户信用数据，用户信用数据，是指，在用户信用数据库中确定符合目标指标数据的用户信用数据；

根据预设筛选模型，处理目标用户信用数据，生成目标用户数据。

在一个实施例中，该方法在获取目标用户数据筛选请求之前，包括：

获取用户登陆信息并鉴权，当用户登陆信息通过鉴权处理后，获取筛选模型；

当筛选模型符合预设模型标准时，对筛选模型进行合规验证；

当筛选模型通过合规验证后，确定筛选模型为预设筛选模型，合规验证包括：模型稳定性验证和模型单参数验证。

在一个实施例中，该方法在获取筛选模型时，包括：

获取输入参数信息，输入参数信息是基于用户信用数据库指标中指标数据类型及对应的数据值范围确定的；

获取预设数据处理规则，预设数据处理规则，包括，用户信用评价数据指标化处理规则和指标数据与筛选结果之间的对应关系；

获取输出参数信息，输出参数信息是指，根据预设数据处理规则处理输入参数信息后输出用户信息数据和筛选结果数据；

根据输入数据筛选规则、预设数据处理规则和输出数据筛选规则，生成筛选模型。

在一个实施例中，该方法在当筛选模型符合预设模型标准时，包括；

根据预设数据指标范围，验证筛选模型的输入数据；

当输入数据符合预设数据指标范围时，对筛选模型的输出数据进行数据安全验证；

当输出数据通过数据安全验证时，确定筛选模型符合预设模型标准。