[发明专利]一种数据关联处理方法、装置、设备及介质在审
申请号: | 201910541182.6 | 申请日: | 2019-06-21 |
公开(公告)号: | CN110334119A | 公开(公告)日: | 2019-10-15 |
发明(设计)人: | 朱祁林 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/22 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;贾允 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 关联规则 内存 关联 关联目标 规则执行 实时数据 数据关联 分析树 自定义 安全检测 安全领域 程序开发 触发数据 语法编写 准确定位 自动执行 准确度 告警 数据处理 语法 落地 门槛 应用 制定 | ||
1.一种数据关联处理方法,其特征在于,所述方法包括:
获取关联规则,根据所述关联规则生成关联分析树;
根据所述关联分析树生成内存规则执行对象,所述内存规则执行对象用于对进入内存的实时数据进行关联以得到关联目标数据;
根据所述关联目标数据进行数据处理。
2.根据权利要求1所述的方法,其特征在于,所述对进入内存的实时数据进行关联以得到关联目标数据,包括:
按照所述关联分析树对所述实时数据进行特征提取,以得到每一条实时数据所包括的字段以及所述字段对应的值;
从所述实时数据中获取待关联数据,所述待关联数据均包括关联字段,并且所述待关联数据满足数据产生关联条件和数据联合条件,所述数据产生关联条件为数据产生时间位于相同的时间窗,所述数据联合条件为除去数据产生时间外的其它关联字段对应的值相同;
提取所述待关联数据的关联字段和必要字段以得到待关联目标数据;
合并待关联目标数据以得到关联目标数据。
3.根据权利要求2所述的方法,其特征在于:
每隔预设时间设置一个时间窗,并对每个时间窗进行编号;若不同数据中的数据产生时间落入编号相同的时间窗之中,则判定其其满足数据产生关联条件;
或,
计算不同数据的数据产生时间的差值,若所述差值小于所述时间窗的窗口长度,则判定其满足数据产生关联条件。
4.根据权利要求1所述的方法,其特征在于,所述根据所述关联目标数据进行数据处理,包括:
获取安全检测条件;
若所述关联目标数据不满足所述安全检测条件,则发布安全警告。
5.根据权利要求1所述的方法,其特征在于,所述根据所述关联目标数据进行数据处理,包括:
根据所述关联目标数据得到待统计数据,所述待统计数据为产生时间满足预设时间要求的关联目标数据;
对待统计数据的指定字段的对应值进行统计以得到统计结果;
若所述统计结果不满足所述安全检测条件,则发布安全警告。
6.根据权利要求1所述的方法,其特征在于,在所述根据所述关联分析树生成内存规则执行对象,所述内存规则执行对象用于对进入内存的实时数据进行关联以得到关联目标数据,之前包括:
获取实时数据;
对所述实时数据的主键的对应值进行第一次散列以得到用于处理所述实时数据的进程对应的数据队列所在的存储空间;
对各个存储空间中存储的实时数据按照其主键的对应值进行第二次散列以得到用于处理所述实时数据的线程;
将所述实时数据传输至所述线程对应的数据队列所在的内存分区。
7.根据权利要求6所述的方法,其特征在于,所述用于处理所述实时数据的进程与服务器节点一一对应,所述对各个存储空间中存储的实时数据按照其主键的对应值进行第二次散列以得到用于处理所述实时数据的线程,包括:
通过第二次散列得到的散列值的小数点移动N位后除以线程的数量以得到用于处理所述实时数据的线程的标识,所述线程的数量为服务器节点中运行的用于处理所述实时数据的线程的总量。
8.一种数据关联处理装置,其特征在于,所述装置包括:
关联分析树获取模块,用于获取关联规则,根据所述关联规则生成关联分析树;
关联模块,用于根据所述关联分析树生成内存规则执行对象,所述内存规则执行对象用于对进入内存的实时数据进行关联以得到关联目标数据;
数据处理模块,用于根据所述关联目标数据进行数据处理。
9.一种设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一项所述的一种数据关联处理方法。
10.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求1-7任一项所述的一种数据关联处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910541182.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据查询方法及装置
- 下一篇:档案应用方法及装置、存储介质