[发明专利]基于专家统计特征的增量计算更新方法、电子设备、介质在审
申请号: | 202211017850.3 | 申请日: | 2022-08-24 |
公开(公告)号: | CN115438054A | 公开(公告)日: | 2022-12-06 |
发明(设计)人: | 周婷婷;刘智;胡汉一;胡明睿;徐圣源;许浩 | 申请(专利权)人: | 之江实验室 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/901;G06N20/00 |
代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 邱启旺 |
地址: | 310023 浙江省杭州市余*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 专家 统计 特征 增量 计算 更新 方法 电子设备 介质 | ||
1.一种基于专家统计特征的增量计算更新方法,其特征在于,所述方法具体包括以下步骤:
(1)构建专家统计特征配置文件,所述专家统计特征配置文件中包括若干字段,其中第一字段的列名为统计型专家特征的名称,其余字段的列名包括统计型专家特征对应的统计计算类别、分组属性名、筛选条件关联属性名、筛选条件、执行统计操作的属性名、统计操作类型;
(2)读取步骤(1)构建的专家统计特征配置文件,将第一字段名作为主键,按统计型专家统计对应的统计计算类别对其余字段进行验证,再将通过验证的其余字段拼接成链表作为值组成哈希映射;
(3)离线生成历史数据的关联统计信息:根据步骤(2)得到的哈希映射抽取待生成的专家统计特征,依据步骤(2)中得到的值获取对应的专家统计特征的计算类别,根据统计型专家特征的计算类别分别保存统计型专家特征对应的历史数据的关联统计信息;
(4)持久化步骤(3)保存的历史数据的关联统计信息;
(5)在线生成新增数据的关联统计信息,根据步骤(2)得到的哈希映射抽取待生成的专家统计特征,依据步骤(2)中得到的值获取对应的专家统计特征的计算类别,根据统计型专家特征对应的统计计算类别分别保存统计型专家特征对应的新增数据的统计关联信息;
(6)更新历史关联统计信息,根据步骤(4)保存的历史数据的关联统计信息以及步骤(5)生成的新增数据的统计关联信息,更新对应的历史关联统计信息,以当前新增数据时间为新的历史数据时间节点,获得更新后的历史关联统计信息,并持久化作为新的历史数据统计关联信息;
(7)利用步骤(6)更新后的历史数据统计关联信息,推断出统计型专家特征的数值。
2.根据权利要求1所述的基于专家统计特征的增量计算更新方法,其特征在于,所述步骤(1)中统计型专家特征对应的统计计算类别包括基于某一特征的历史数据统计值,在特定有效时间内基于某一特征的历史数据统计值,在特定有效时间内发生次数的统计值和基于某一特征近几期的数值统计值。
3.根据权利要求1所述的基于专家统计特征的增量计算更新方法,其特征在于,若干字段间以逗号隔开。
4.根据权利要求2所述的基于专家统计特征的增量计算更新方法,其特征在于,所述步骤(2)中按统计型专家统计对应的统计计算类别对其余字段进行验证的过程具体为:
其中,对其余字段的配置合法性进行验证判断,具体判断以下条件:
条件1:专家统计特征配置文件中的第二字段配置的类别是否在已配置的类别范围内,所述已配置的类别范围为已配置的类别范围即基于某一特征的历史数据统计值,在特定有效时间内基于某一特征的历史数据统计值,在特定有效时间内发生次数的统计值,基于某一特征近几期的数值统计值;
条件2:依据已配置的类别判断其余字段中的非空值数值要求是否满足;
如上述任一条件不满足,则该专家统计特征配置文件存在问题,不满足类别要求的字段为空值。
5.根据权利要求2所述的基于专家统计特征的增量计算更新方法,其特征在于,所述步骤(3)中根据统计型专家特征的计算类别分别保存统计型专家特征对应的历史数据的关联统计信息,和所述步骤(5)中根据统计型专家特征对应的统计计算类别分别保存统计型专家特征对应的新增数据的统计关联信息,还由以下内容决定:
内容1:根据步骤(2)得到的值链表的中的统计的筛选条件关联属性名,确定执行的过滤条件属性;
内容2:根据步骤(2)得到的值链表中的统计结果依赖的属性名,确定执行的统计操作的关联属性;
其中,关联信息按照内容1和内容2需要分别采用独立的链表结构进行存储。
6.根据权利要求1所述的基于专家统计特征的增量计算更新方法,其特征在于,所述步骤(4)具体为:采用MySQL、ORACLE数据库,和/或采用csv、xls、pkl文件形式持久化存储步骤(3)保存的历史数据的关联统计信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于之江实验室,未经之江实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211017850.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种高精度自动化铺布系统
- 下一篇:一种基于水果原料指标预测果汁品质的方法