[发明专利]数据的预处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据的预处理方法、系统、计算机设备和存储介质。所述方法包括：获取至少一个采样数据表，获取所述采样数据表的至少一个字段中存储的数据；获取数据模型表中的字段及预先配置的表字段的映射关系，所述映射关系包括所述数据模型表中的字段与所述采样数据表中的字段的一对一关系或一对多关系；根据所述映射关系，将该采样数据表的字段中存储的数据映射到该数据模型表的对应字段中，得到映射有数据的数据模型表；保存映射有数据的该数据模型表。本申请使得在面对不同的底层数据做相同的业务分析时，不需要重复的进行数据筛选，只需要调整映射关系即可自动实现数据的清洗，提高了数据的处理效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据的预处理方法、装置、计算机设备和存储介质。

背景技术

随着用户的需求越来越多以及业务的多样化发展，目前在给某些企业做数据分析，例如给银行做做用户分群、精准营销等数据咨询项目时，通常需要对银行方提供的数据进行多层筛选，首先需要经过底层数据清洗，然后将清洗后的数据标准化、指标开发、建模分析等步骤，每个步骤都是根据各个银行的特点定制化的工作，其中耗时最长、工作内容最繁琐的是底层数据清洗和指标开发工作，其原因是银行的底层数据存储形式主要是为银行开展业务服务的，和数据建模分析的等需求有较大差异，需要人工先筛选出对分析有用的数据，再汇总成建模分析需要的统计指标，每次对另一家银行进行数据分析时，都需要大量的时间进行此项定制化的工作。

目前急需要一种能够自动对底层数据进行筛选和清洗的技术方案，以将不同银行的数据进行标准化处理，满足后期的使用需求。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的数据的预处理方法、装置、计算机设备和存储介质。

一种数据的预处理方法，该方法包括：

获取至少一个采样数据表，获取所述采样数据表的至少一个字段中存储的数据；

获取数据模型表中的字段及预先配置的表字段的映射关系，所述映射关系包括所述数据模型表中的字段与所述采样数据表中的字段的一对一关系或一对多关系；

根据所述映射关系，将该采样数据表的字段中存储的数据映射到该数据模型表的对应字段中，得到映射有数据的数据模型表；

保存映射有数据的该数据模型表。

在其中一个实施例中，该方法还包括：

从保存的该数据模型表的字段存储的数据中抽取满足预设条件的样本数据；

将抽取的该样本数据输入至建模工具中进行建模。

在其中一个实施例中，在该保存映射有数据的该数据模型表的步骤之后，该方法还包括：

检测该数据模型表的各字段中存储的数据；

当检测的该数据中存在异常数据时，对该异常数据按照预设的处理方式进行处理。

在其中一个实施例中，该异常数据包括数值型异常数据；该对该异常数据按照预设的处理方式进行处理的步骤包括：

获取该数值型异常数据所在字段中的所有非异常的数值型数据；

计算获取的该数值型数据的平均值；

将该异常数据更新为计算的该平均值。

在其中一个实施例中，当所述映射关系为一对多关系时，该将该采样数据表的字段中存储的数据映射到该数据模型表的对应字段中的步骤包括：

获取不同的字段中存储的数值型数据；

根据预设的逻辑运算规则，对获取的该数值型数据进行逻辑运算；