[发明专利]统一地执行特征抽取的方法及系统在审
申请号: | 202010795856.8 | 申请日: | 2018-08-21 |
公开(公告)号: | CN111949349A | 公开(公告)日: | 2020-11-17 |
发明(设计)人: | 黄亚建;王太泽;邓龙;范晓亮;刘晨璐;刘永超;孙迪 | 申请(专利权)人: | 第四范式(北京)技术有限公司 |
主分类号: | G06F9/451 | 分类号: | G06F9/451 |
代理公司: | 北京铭硕知识产权代理有限公司 11286 | 代理人: | 苏银虹;徐璐璐 |
地址: | 100085 北京市海淀区清*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 统一 执行 特征 抽取 方法 系统 | ||
1.一种统一地执行特征抽取的方法,其中,所述方法包括:
获取用于定义与特征抽取相关的处理逻辑的特征抽取脚本;
解析所述特征抽取脚本,以生成用于进行特征抽取的执行计划;以及
基于特征抽取场景,通过本机或集群执行生成的执行计划。
2.根据权利要求1所述的方法,其中,基于特征抽取场景通过本机或集群执行生成的执行计划的步骤包括:
当特征抽取场景为在线特征抽取场景时,通过本机以单机模式执行生成的执行计划;以及
当特征抽取场景为离线特征抽取场景时,通过集群以分布式模式执行生成的执行计划。
3.根据权利要求1所述的方法,其中,解析所述特征抽取脚本以生成用于进行特征抽取的执行计划的步骤包括:
按处理顺序分割所述特征抽取脚本所定义的处理逻辑,来生成用于进行特征抽取的执行计划。
4.根据权利要求3所述的方法,其中,所述处理逻辑涉及在至少一个时间窗口下进行特征抽取,并且,
按处理顺序分割所述特征抽取脚本所定义的处理逻辑来生成用于进行特征抽取的执行计划的步骤包括:针对各个时间窗口,分别按处理顺序分割相应的处理逻辑来生成用于进行特征抽取的执行计划。
5.根据权利要求4所述的方法,其中,所述执行计划是由节点构成的有向无环图,其中,所述节点与分割后的处理逻辑对应,
并且,基于特征抽取场景通过本机或集群执行生成的执行计划的步骤包括:基于特征抽取场景,通过本机或集群实现与各个节点对应的处理逻辑来执行生成的执行计划。
6.根据权利要求5所述的方法,其中,所述节点包括与用于从数据表获取特征的处理逻辑对应的计算节点。
7.根据权利要求6所述的方法,其中,所述节点还包括与用于进行数据表拼接的处理逻辑对应的拼表节点和/或与用于进行特征汇总的处理逻辑对应的特征拼接节点。
8.一种统一地执行特征抽取的系统,其中,所述系统包括:
脚本获取装置,获取用于定义与特征抽取相关的处理逻辑的特征抽取脚本;
计划生成装置,解析所述特征抽取脚本,以生成用于进行特征抽取的执行计划;以及
计划执行装置,基于特征抽取场景,通过本机或集群执行生成的执行计划。
9.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统,其中,所述指令在被所述至少一个计算装置运行时,促使所述至少一个计算装置执行如权利要求1到7中的任一权利要求所述的统一地执行特征抽取的方法。
10.一种存储指令的计算机可读存储介质,其中,当所述指令被至少一个计算装置运行时,促使所述至少一个计算装置执行如权利要求1到7中的任一权利要求所述的统一地执行特征抽取的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于第四范式(北京)技术有限公司,未经第四范式(北京)技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010795856.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于硬件装置的加密即时通信方法和系统
- 下一篇:一种矿用手持喊话器装置