[发明专利]中间表更新方法及装置有效
申请号: | 201510080692.X | 申请日: | 2015-02-13 |
公开(公告)号: | CN104615763B | 公开(公告)日: | 2018-02-13 |
发明(设计)人: | 董铭;孙勇义;刘生 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京品源专利代理有限公司11332 | 代理人: | 路凯,崔雪青 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 中间 更新 方法 装置 | ||
1.一种中间表更新方法,其特征在于,包括:
获取业务数据处理任务对基础表和/或中间表中数据的提取记录;
根据所述提取记录,按照设定规则确定所述中间表的表项调整方案;
根据所述表项调整方案,预算调整后新中间表的容量大小;
如果所述容量大小超出表容量预设值,则修改所述表项调整方案,直至预算的新中间表容量大小低于表容量预设值;
其中,修改所述表项调整方案包括如下至少一种:
根据业务数据处理任务对基础表中待添加表项的提取频次,来确定需在表项调整方案中删除的待添加表项;
根据业务数据处理任务对中间表中除待添加表项之外的非待添加表项的提取频次,来确定新的待删除表项;
根据待添加表项在基础表中的数据量,来具体确定所要减少的待添加表项;
根据非待添加表项在中间表中的数据量,来确定新的待删除表项;
根据所述表项调整方案更新所述中间表的表项。
2.根据权利要求1所述的方法,其特征在于,根据所述提取记录,按照设定规则确定所述中间表的表项调整方案,包括:
根据所述提取记录,统计所述基础表中表项的提取频次;
将提取频次达到第一预设值的表项,作为所述中间表的待添加表项。
3.根据权利要求1所述的方法,其特征在于,根据所述提取记录,按照设定规则确定所述中间表的表项调整方案,包括:
根据所述提取记录,统计所述中间表中表项的提取频次;
将所述提取频次低于第二预设值的表项,作为所述中间表的待删除表项。
4.根据权利要求1-3中任一项所述的方法,其特征在于,还包括:
监测所述业务数据处理任务从所述基础表和所述中间表中提取数据并进行处理得到业务数据所耗费的时间;
根据所监测到的时间,产生中间表调整建议或所述设定规则的调整建议。
5.根据权利要求1-3中任一项所述的方法,其特征在于,所述提取记录包括下述至少一项记录:
业务数据处理任务根据提取需求,在所述基础表中查询并获取基础数据的记录;
业务数据处理任务根据提取需求,在所述中间表中查询并获取中间数据的记录;
业务数据处理任务根据提取需求查询所述中间表,如果所述中间表不存在满足所述提取需求的中间数据,则根据所述提取需求在所述基础表中查询并获取基础数据的记录;
所述业务数据处理任务至少包括如下两种类型的任务:
用于根据单次的业务数据处理需求,从基础表和/或中间表进行数据提取和处理的第一种业务数据处理子任务;
用于按照设定周期和/或设定业务数据处理需求,从基础表和/或中间表进行数据提取和处理的第二种业务数据处理子任务。
6.一种中间表更新装置,其特征在于,包括:
提取记录获取单元,用于获取业务数据处理任务对基础表和/或中间表中数据的提取记录;
表项调整方案确定单元,用于根据所述提取记录,按照设定规则确定所述中间表的表项调整方案;
表项调整方案修改单元,用于:
根据所述表项调整方案确定单元得到的表项调整方案,预算调整后新中间表的容量大小;
如果所述容量大小超出表容量预设值,则修改所述表项调整方案,直至预算的新中间表容量大小低于表容量预设值;
其中,修改所述表项调整方案包括如下至少一种:
根据业务数据处理任务对基础表中待添加表项的提取频次,来确定需在表项调整方案中删除的待添加表项;
根据业务数据处理任务对中间表中除待添加表项之外的非待添加表项的提取频次,来确定新的待删除表项;
根据待添加表项在基础表中的数据量,来具体确定所要减少的待添加表项;
根据非待添加表项在中间表中的数据量,来确定新的待删除表项;
中间表项更新单元,用于根据所述表项调整方案更新所述中间表的表项。
7.根据权利要求6所述的装置,其特征在于,所述表项调整方案确定单元包括待添加项确定子单元,用于:
根据所述提取记录,统计所述基础表中表项的提取频次;
将提取频次达到第一预设值的表项,作为所述中间表的待添加表项。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510080692.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:图片分类方法及装置
- 下一篇:钓鱼网站识别方法和系统