[发明专利]一种基于流批一体的多维数据处理方法及系统

说明书

本申请涉及数据处理技术领域，具体公开了一种基于流批一体的多维数据处理方法及系统,所述方法包括：获取业务需求信息，所述业务需求信息包括所属业务场景；对业务需求信息通过预设的方法进行解析，获取数据字段和数据处理逻辑；基于数据字段，从预设组件库中提取数据源和数据宿；基于数据处理逻辑，从预设组件库中匹配出相应算子；对数据源、算子和数据宿进行流程化拼接，获取流程配置信息。通过将业务相关进程进行组件化，然后根据业务需求可选取相关组件，以进行流程式串联配置，从而达到快速部署实施的目的。

技术领域

本申请涉及数据处理领域，尤其涉及一种基于流批一体的多维数据处理方法及系统。

背景技术

由于目前对于市场响应时效的要求越来越高，实时营销、精准营销、实时分析等所带来的实时数据价值，日益明显且占据重要地位，实时数据的实时处理、分析的技术与方法，也层出不穷。

现有的实时数据处理框架往往通过构建实时批量多维数据处理模型，或者借助主流消息队列及流数据处理技术来建立实时多维数据模型，但这些方法所需的建模时间过长，导致业务时效延迟，影响了对最终基于数据驱动的决策和预分析，并且模块之间的依赖性较高，导致可复用性低。

发明内容

本申请的目的是提供一种流批一体组件化高时效数据处理和高效实施的方法，对金融行业信用卡业务涉及的相关进程进行拆解，并形成相关组件，以流程式串联配置并形成场景模板，通过快速检索及配置调整，即可达到快速部署实施的目的。

第一方面，本申请提供一种基于流批一体的多维数据处理方法，采用如下的技术方案：

获取业务需求信息，并对业务需求信息通过预设的方法进行解析，获取数据字段和数据处理逻辑；

基于数据字段，从预设组件库中提取数据源和数据宿；

基于数据处理逻辑，从预设组件库中匹配出相应算子；

对数据源、算子和数据宿进行流程化拼接，获取流程配置信息。

通过上述技术方案，可以通过对业务需求信息进行解析，获取与业务关联的组件，然后进行组件的流程串联配置，从而实现快速部署实施，无需对业务需求进行人工梳理，降低了业务数据处理所需时间，并且流程配置组件并非固定连接，可根据实际业务需求进行重组，增加了可复用性。

可选的，所述业务需求信息还包括数据执行条件，对业务需求信息通过预设的方法进行解析，获取数据字段和数据处理逻辑，包括：

对业务需求信息，通过预设的自然语言处理模型提取关键词；

基于关键词，通过预设的数据关联规则模型生成关联数据信息；

基于数据执行条件，通过预设的算子规则进行匹配，获取数据处理逻辑；

基于关联数据信息和数据处理逻辑，获取数据字段。

可选的，所述基于关联数据信息和数据处理逻辑，获取数据字段，包括：

基于关联数据信息和数据处理逻辑，确认数据生产者和数据消费者；

若数据生产者不止一个，则根据多个数据生产者，获取数据联合处理逻辑，以作为补充数据处理逻辑；

将补充数据处理逻辑添加到数据处理逻辑中，以形成新的数据处理逻辑；

基于关联数据信息和新的数据处理逻辑，获取数据字段。

可选的，所述基于数据字段，从预设组件库中提取数据源和数据宿，包括：

根据数据生产者和数据消费者，确定业务涉及的数据类型；

基于数据字段，获取数据传输通道信息；

根据数据传输通道信息和数据类型，从预设的组件库中匹配出对应的数据源和数据宿。

可选的，所述数据源包括属性配置项，数据宿包括配置字段名称，所述对数据源、算子和数据宿进行流程化拼接，获取流程配置信息，包括：

基于属性配置项，构建数据参数字段；