[发明专利]一种特征样本实时采集方法及系统有效
申请号: | 202110879518.7 | 申请日: | 2021-08-02 |
公开(公告)号: | CN113312404B | 公开(公告)日: | 2021-11-02 |
发明(设计)人: | 张险全;薛延波;赵鹏 | 申请(专利权)人: | 北京华品博睿网络技术有限公司 |
主分类号: | G06F16/2457 | 分类号: | G06F16/2457;G06F16/2455 |
代理公司: | 北京君泊知识产权代理有限公司 11496 | 代理人: | 周倩 |
地址: | 100028 北京市朝阳区太*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 特征 样本 实时 采集 方法 系统 | ||
1.一种特征样本实时采集方法,其特征在于,所述方法包括:
各个样本生产节点监听模型结果消息系统,当所述样本生产节点监听到模型结果消息系统的结果消息时,所述样本生产节点根据所述结果消息的会话ID,从分布式配置系统中获取特征样本所需的元数据,并从特征库中获取特征样本所需的全部特征,根据获取的元数据和与用户行为对应的全部特征进行窗口计算构造缓存样本,并存储在存储系统中以供实时行为采集节点使用;
各个实时行为采集节点监听用户行为消息系统,当所述实时行为采集节点监听到所述用户行为消息系统的行为消息时,所述实时行为采集节点根据所述行为消息的会话ID,从缓存系统中获取与所述会话ID关联的缓存样本,并根据所述缓存样本的业务类型生产样本标签,将所述样本标签和获取的缓存样本整合成特征样本,并存储在特征样本存储系统中以供模型训练。
2.如权利要求1所述的方法,其中,所述方法还包括:
各个样本生产节点启动时分别调用所述分布式配置系统,从所述分布式配置系统中获取特征样本的元数据并缓存在所述存储系统中,当所述分布式配置系统中的元数据变更时,所述分布式配置系统通知各个所述样本生产节点更新所述存储系统,此时各个所述样本生产节点开始监听所述模型结果消息系统。
3.如权利要求2所述的方法,其中,所述方法还包括:
当应用系统接入客户端采集SDK后,所述客户端采集SDK根据业务类型,在对应的环节中进行数据埋点,以使所述客户端采集SDK采集应用系统的模型结果;
当所述客户端采集SDK采集到所述模型结果的数据后,所述客户端采集SDK通过异步方式将所述模型结果发送至所述模型结果消息系统中。
4.如权利要求3所述的方法,其中,所述各个样本生产节点监听模型结果消息系统,当所述样本生产节点监听到模型结果消息系统的结果消息时,所述样本生产节点根据所述结果消息的会话ID,从分布式配置系统中获取特征样本所需的元数据,并从特征库中获取特征样本所需的全部特征,根据获取的元数据和全部特征构造缓存样本,并存储在存储系统中以供实时行为采集节点使用,包括:
所述样本生产节点启动时,调用所述分布式配置系统,从所述分布式配置系统中获取特征样本的元数据并缓存在所述存储系统中,当所述分布式配置系统中的元数据变更时,所述分布式配置系统通知所述样本生产节点更新所述存储系统,所述样本生产节点开始监听所述模型结果消息系统;
应用系统接入所述客户端采集SDK后,所述客户端采集SDK根据业务类型,在对应的环节中进行数据埋点,采集应用系统的模型结果,并通过异步方式将所述模型结果发送至所述模型结果消息系统中;
所述样本生产节点监听到所述模型结果消息系统的结果消息后,所述样本生产节点通过所述模型结果的会话ID,获取特征样本的元数据,通过所述特征样本的元数据中模型输出的项目ID列表,从所述特征库中获取每个项目的特征以得到特征样本的全部特征,基于获取的元数据和全部特征构造缓存样本,并将所述缓存样本存储在所述缓存系统中;
所述样本生产节点持续监听所述模型结果消息系统,当监听到所述模型结果消息系统的结果消息后重复上述构造缓存样本的过程,直至停止构造缓存样本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京华品博睿网络技术有限公司,未经北京华品博睿网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110879518.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:计算设备及电子设备
- 下一篇:基于智能压缩的数据传输方法、装置、设备及介质