[发明专利]数据的预处理方法、装置、计算机设备和存储介质

权利要求书

1.一种数据的预处理方法，所述方法包括：

获取至少一个采样数据表，获取所述采样数据表的至少一个字段中存储的数据；所述采样数据表中存储有与银行相关的明细业务数据；

根据不同银行的采样数据表的同一字段的含义，预先对对应的映射关系进行调整，确定数据模型表和不同银行的采样数据表之间的映射关系；

获取数据模型表中的字段及预先配置的表字段的映射关系，所述映射关系包括所述数据模型表中的字段与所述采样数据表中的字段的一对一关系或一对多关系；

根据所述映射关系，将所述采样数据表的字段中存储的数据映射到所述数据模型表的对应字段中，得到映射有数据的数据模型表；

保存映射有数据的所述数据模型表；

所述方法还包括：

根据与所述数据模型表的各字段中的数据对应的预设存储规则，检测所述数据模型表的各字段中存储的数据；

当根据所述预设存储规则，确定检测的所述数据中存在异常数据时，对所述异常数据按照预设的处理方式进行处理；

根据携带预设标准的统计软件脚本对处理后的数据进行处理，一键自动生成数据标签；所述数据标签用于对所述统计软件脚本对应的统计模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从保存的所述数据模型表的字段存储的数据中抽取满足预设条件的样本数据；

将抽取的所述样本数据输入至建模工具中进行建模。

3.根据权利要求1所述的方法，其特征在于，所述异常数据包括数值型异常数据；所述对所述异常数据按照预设的处理方式进行处理的步骤包括：

获取所述数值型异常数据所在字段中的所有非异常的数值型数据；

计算获取的所述数值型数据的平均值；

将所述异常数据更新为计算的所述平均值。

4.根据权利要求1至3任意一项所述的方法，其特征在于，当所述映射关系为一对多关系时，所述将所述采样数据表的字段中存储的数据映射到所述数据模型表的对应字段中的步骤包括：

获取不同的字段中存储的数值型数据；

根据预设的逻辑运算规则，对获取的所述数值型数据进行逻辑运算；

将进行逻辑运算的结果映射到所述数据模型表的对应字段中。

5.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：

获取所述数据模型表中的敏感字段；

对所述敏感字段中存储的数据进行加密。

6.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：

根据所述数据模型表中记载的交易金额及交易时间，计算当月/当年的销量相比上一月/上一年的销量的增长率，并自动生成报表。

7.一种数据的预处理装置，其特征在于，所述装置包括：

数据获取模块，用于获取至少一个采样数据表，获取所述采样数据表的至少一个字段中存储的数据；所述采样数据表中存储有与银行相关的明细业务数据；

映射模块，用于根据不同银行的采样数据表的同一字段的含义，预先对对应的映射关系进行调整，确定数据模型表和不同银行的采样数据表之间的映射关系；

字段获取模块，用于获取数据模型表中的字段及预先配置的表字段的映射关系，所述映射关系包括所述数据模型表中的字段与所述采样数据表中的字段的一对一关系或一对多关系；映射模块，用于根据所述映射关系，将所述采样数据表的字段中存储的数据映射到所述数据模型表的对应字段中，得到映射有数据的数据模型表；

保存模块，用于保存映射有数据的所述数据模型表；

还包括：

检测模块，用于根据与所述数据模型表的各字段中的数据对应的预设存储规则，检测所述数据模型表的各字段中存储的数据；

处理模块，用于当根据所述预设存储规则，确定检测的所述数据中存在异常数据时，对所述异常数据按照预设的处理方式进行处理；用于根据携带预设标准的统计软件脚本对处理后的数据进行处理，一键自动生成数据标签的模块；其中，所述数据标签用于对所述统计软件脚本对应的统计模型进行训练。