[发明专利]电子装置、数据处理方法及计算机可读存储介质在审
申请号: | 201710914863.3 | 申请日: | 2017-09-30 |
公开(公告)号: | CN107807956A | 公开(公告)日: | 2018-03-16 |
发明(设计)人: | 吴振宇;刘睿恺;王建明;肖京 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙)44347 | 代理人: | 高杰,于志光 |
地址: | 518000 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 电子 装置 数据处理 方法 计算机 可读 存储 介质 | ||
1.一种电子装置,其特征在于,所述电子装置包括存储器及与所述存储器连接的处理器,所述存储器中存储有可在所述处理器上运行的数据处理系统,所述数据处理系统被所述处理器执行时实现如下步骤:
S1,在获取数据源端的数据后,基于预设的数据类型对所获取的数据进行类型的转换处理,以及对转换处理后的数据进行异常处理及空值处理;
S2,在完成所有处理阶段的数据处理后,将最终处理阶段处理后的数据作为待建模的数据存储至预设的传递途径ETL Pipeline中;
S3,获取预设的多个机器算法模型及与各个机器算法模型对应的预设的模型参数范围,基于网格搜索grid search选取机器算法模型及与该机器算法模型对应的模型参数,以对待建模的数据进行建模。
2.根据权利要求1所述的电子装置,其特征在于,所述数据处理系统被所述处理器执行时,还实现如下步骤:
在最终处理阶段之前,且在完成每一处理阶段的数据处理后,将各个处理阶段处理后的数据存储至预设的对应的传递途径ETL Pipeline中,或者,基于用户的设置将选定的处理阶段处理后的数据存储至预设的对应的传递途径ETL Pipeline中。
3.根据权利要求1所述的电子装置,其特征在于,所述步骤S3包括:
对于每一机器算法模型及该机器算法模型对应的模型参数范围中的每一模型参数构建的对应的机器算法模型进行训练;
对训练后的机器算法模型的准确率进行验证;
选取准确率最高的机器算法模型及对应的模型参数,以对待建模的数据进行建模。
4.根据权利要求1至3任一项所述的电子装置,其特征在于,所述异常处理包括:处理数据中的噪音点或者数据中的乱码;所述空值处理包括:捕获数据中的空值字段,利用平均值、中位数、出现频率最高的值或用户设置的值填充所捕获的空值字段。
5.一种数据处理方法,其特征在于,所述数据处理方法包括:
S1,在获取数据源端的数据后,基于预设的数据类型对所获取的数据进行类型的转换处理,以及对转换处理后的数据进行异常处理及空值处理;
S2,在完成所有处理阶段的数据处理后,将最终处理阶段处理后的数据作为待建模的数据存储至预设的传递途径ETL Pipeline中;
S3,获取预设的多个机器算法模型及与各个机器算法模型对应的预设的模型参数范围,基于网格搜索grid search选取机器算法模型及与该机器算法模型对应的模型参数,以对待建模的数据进行建模。
6.根据权利要求5所述的数据处理方法,其特征在于,所述步骤S2之前还包括:
在最终处理阶段之前,且在完成每一处理阶段的数据处理后,将各个处理阶段处理后的数据存储至预设的对应的传递途径ETL Pipeline中,或者,基于用户的设置将选定的处理阶段处理后的数据存储至预设的对应的传递途径ETL Pipeline中。
7.根据权利要求5所述的数据处理方法,其特征在于,所述步骤S3包括:
对于每一机器算法模型及该机器算法模型对应的模型参数范围中的每一模型参数构建的对应的机器算法模型进行训练;
对训练后的机器算法模型的准确率进行验证;
选取准确率最高的机器算法模型及对应的模型参数,以对待建模的数据进行建模。
8.根据权利要求5至7任一项所述的数据处理方法,其特征在于,所述异常处理包括:处理数据中的噪音点或者数据中的乱码;所述空值处理包括:捕获数据中的空值字段,利用平均值、中位数、出现频率最高的值或用户设置的值填充所捕获的空值字段。
9.根据权利要求5至7任一项所述的数据处理方法,其特征在于,所述数据类型包括整数类型、浮点数类型及字符串类型。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据处理系统,所述数据处理系统被处理器执行时实现如权利要求5至9中任一项所述的数据处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710914863.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:无线txt阅读器及阅读方法
- 下一篇:实体库生成方法及装置