[发明专利]数据过滤方法、装置、电子设备及存储介质有效
| 申请号： | 201811150166.6 | 申请日： | 2018-09-29 |
| 公开（公告）号： | CN109408711B | 公开（公告）日： | 2019-12-06 |
| 发明（设计）人： | 刘万强 | 申请（专利权）人： | 北京三快在线科技有限公司 |
| 主分类号： | G06F16/9535 | 分类号： | G06F16/9535 |
| 代理公司： | 11438 北京律智知识产权代理有限公司 | 代理人： | 袁礼君;阚梓瑄<国际申请>=<国际公布> |
| 地址： | 100083 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明的实施例提供了一种数据过滤方法、数据过滤装置、电子设备以及存储介质，涉及大数据技术领域。该方法包括：基于第一数据表中多条数据的标识信息生成广播变量，并将所述广播变量广播至各个工作节点；提取所述工作节点产生的新增数据的标识信息，确定所述新增数据的标识信息是否存在于所述广播变量中；响应于所述新增数据的标识信息存在于所述广播变量中，将对应的新增数据过滤到待处理弹性分布式数据集。本发明实施例可以解决数据过滤时临时表占用大量内存，导致发生延迟影响数据处理效率的问题。 | ||
| 搜索关键词： | 标识信息 数据过滤 广播 存储介质 电子设备 工作节点 数据过滤装置 影响数据处理 分布式数据 大数据 临时表 内存 延迟 占用 响应 | ||
【主权项】：
1.一种基于Spark的数据过滤方法，其特征在于，包括：/n基于第一数据表中多条数据的标识信息生成广播变量，并将所述广播变量广播至各个工作节点；/n提取所述工作节点产生的新增数据的标识信息，确定所述新增数据的标识信息是否存在于所述广播变量中；/n响应于所述新增数据的标识信息存在于所述广播变量中，将对应的新增数据过滤到待处理弹性分布式数据集；/n所述基于第一数据表中多条数据的标识信息生成广播变量，包括：/n获取第一数据表中多条数据的标识信息；/n将各条数据的标识信息作为第一关键字，通过对所述第一关键字进行哈希运算生成与所述标识信息对应的位集BitSet；/n将所述BitSet作为初始数据生成广播变量。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司，未经北京三快在线科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811150166.6/，转载请声明来源钻瓜专利网。
