[发明专利]规则训练方法、装置、设备及存储介质在审

专利信息
申请号: 201910705620.8 申请日: 2019-08-01
公开(公告)号: CN110647995A 公开(公告)日: 2020-01-03
发明(设计)人: 陈娴娴;阮晓雯;徐亮 申请(专利权)人: 平安科技(深圳)有限公司
主分类号: G06N5/02 分类号: G06N5/02
代理公司: 11321 北京市京大律师事务所 代理人: 刘挽澜
地址: 518033 广东省深圳市福田区福*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 延展性 规则验证 数据样本 延展 算法 样本 验证 模型训练样本 数据处理技术 存储介质 模型验证 数据规则 数据系统 贪心算法 训练算法 训练装置 最终数据 数据处理 小批量 抽取 场景 重复 评估 优化 分析
【说明书】:

发明涉及大数据处理技术领域,公开了一种规则训练方法,根据当前的数据系统对数据处理的算法场景来获取对应的数据样本集,并从数据样本集中采用小批量抽取算法重复提取出模型训练样本和模型验证样本,基于这两个样本以及选择到的对应的规则训练算法实现数据规则的训练,得到规则延展模型,然后对规则延展模型进行评估验证以及结合贪心算法选择出最具有延展性的模型作为规则验证模块;本发明还公开了一种规则训练装置、设备及存储介质,实现规则的优化,得到数据中的最终规则验证模块,进一步提高了分析到的数据规律的延展性,也提高最终数据的验证正确。

技术领域

本发明涉及大数据处理技术领域,尤其涉及一种规则训练方法、装置、设备及计算机可读存储介质。

背景技术

目前,通过大数据分类和回归模型的方式对数据的分类和验证最终得出来的结论的准确率还是会比较低,其对于数据的分类的正确预测也比较低,并且对于规律的延续性和有效性的判断,在目前的实现方式中并没有较好的实现,特别是当数据量级为千万级以上时,由于部分中小型企业的办公资源如服务器紧缺,无法支持大数据下的map-reduce,或者整体效率变得非常缓慢,无法对实时需求进行快速支持,从而限制了部分重要规律的挖掘和验证,从而导致了难以进行分析建模机制简单粗暴推演、模型搭建、结果验证的问题。

发明内容

本发明的主要目的在于提供一种规则训练方法、装置、设备及计算机可读存储介质,旨在解决由于现有的数据规律分析过于单一,而导致规律分析不准确,影响其延展性的技术问题。

为实现上述目的,本发明提供一种规则训练方法,所述规则训练方法包括以下步骤:

确定当前算法场景,并基于所述算法场景,获取当前数据系统中的数据,得到数据样本集;

根据预先设定的小批量抽取算法,重复从所述数据样本集中随机抽取子数据,并基于所述子数据生成样本组,其中,所述样本组包括至少一个模型训练样本组和至少一个模型验证样本组;

根据预置的算法场景与规则训练算法之间的对应关系,选择与所述算法场景对应的规则训练算法,并根据所述规则训练算法和所述模型训练样本组,进行规则模型训练,以供从所述模型训练样本组中抽取样本数据的变化规则并生成对应的规则延展模型;

根据所述模型验证样本组,对各所述规则延展模型进行规则延展性评估验证,得到验证结果,根据所述验证结果对各所述规则延展模型进行排序;

根据排序的结果以及预置的贪心算法,选择满足延展条件的规则延展模型作为最终的规则验证模型,所述规则验证模型用于对所述数据系统中的数据进行分析,所述贪心算法用于对所述规则延展模型的验证推演。

可选的,所述确定当前算法场景,并基于所述算法场景,获取当前数据系统中的数据,得到数据样本集包括:

获取当前场景下的各类算法,基于所述算法确定其输入的数据类型;

基于所述数据类型,选择满足所述数据类型的数据来源;

根据所述数据来源,读取与所述数据类型对应的数据集,并通过循环随机抽取的方式从所述数据集中提取出小数据集,以形成所述数据样本集,其中,所述小数据集中至少包含有两种不同属性的数据。

可选的,在所述通过循环随机抽取的方式从所述数据集中提取出小数据集,以形成所述数据样本集之后,还包括:

若所述数据样本集为多维度的画像数据集合,则分析从所述数据集中提取出的小数据集中各数据的相关信息,其中,所述相关信息包括数据的属性;

以所述数据的属性作为坐标标签,建立多维度的数据画像,以所述数据画像作为所述数据样本集。

可选的,所述根据预先设定的小批量抽取算法,重复从所述数据样本集中随机抽取子数据,并基于所述子数据生成样本组包括:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910705620.8/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top