[发明专利]一种数据推送控制方法及装置在审
申请号: | 201811195963.6 | 申请日: | 2018-10-15 |
公开(公告)号: | CN109271563A | 公开(公告)日: | 2019-01-25 |
发明(设计)人: | 王洪朋 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/901 | 分类号: | G06F16/901;G06F16/9535;G06F16/41;G06F16/435 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王宝筠 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 推送 接收端 配置文件 数据推送 推送数据 数据源端 索引数据 集群 信息对应 信息获得 预定条件 集群化 应用 | ||
1.一种数据推送控制方法,其特征在于,包括:
判断待推送数据是否符合预定条件,得到判断结果;
若所述判断结果表示符合,则获取所述待推送数据的数据源端信息及接收端信息,并生成推送配置文件;其中,所述接收端信息对应的接收端包括多个集群,每个集群包括多个节点,所生成的推送配置文件至少包括所述数据源端信息及所述接收端信息;
根据所述推送配置文件中的数据源端信息获得待推送数据,并根据所述推送配置文件中的接收端信息,控制将获得的所述待推送数据推送至所述接收端信息所对应的各个集群。
2.根据权利要求1所述的方法,其特征在于,所述预定条件包括:所述待推送数据属于已生产完成未启动推送的数据且属于无需被丢弃的数据;
则所述判断待推送数据是否符合预定条件,得到判断结果,包括:
判断待推送数据是否属于已生产完成未启动推送的数据且属于无需被丢弃的数据,得到判断结果。
3.根据权利要求1所述的方法,其特征在于,所述获得待推送数据的数据源端信息及接收端信息,并基于所述数据源端信息及接收端信息生成推送配置文件,包括:
获得待推送数据所在的数据源端设备的网络互连协议IP地址及存储路径;
确定待推送数据所需要推送的各个集群,并获得所需要推送的集群中需推送的各节点的IP地址及推送路径;
根据所述数据源端设备的IP地址、存储路径,以及各个所需推送的集群中需推送的各节点的IP地址及推送路径,生成推送配置文件。
4.根据权利要求3所述的方法,其特征在于,所述根据所述推送配置文件中的接收端信息,控制将所述待推送数据推送至各个所需集群,包括:
根据所述推送配置文件中配置的各个所需推送的集群中需推送的各节点的IP地址及推送路径,控制将所述待推送数据以块为单位推送至所述各个所需推送的集群的相应节点的相应推送路径下;
其中,每个集群中的不同节点接收所述待推送数据中的不同数据部分,且每个集群中各个节点所接收的各个不同数据部分构成所述待推送数据。
5.根据权利要求4所述的方法,其特征在于,所述推送路径包括临时推送路径及正式推送路径,则所述控制将所述待推送数据以块为单位推送至所述各个所需集群的相应节点的相应推送路径下,包括:
控制将所述待推送数据以块为单位推送至各个所需集群的相应节点的相应临时路径下;其中,在推送时基于预定方式限制推送过程中所使用的带宽及中央处理器CPU资源量;
每个集群利用预定的验证方式,验证相应临时路径下接收的待推送数据与数据源端的相应待推送数据是否一致,得到验证结果;
若验证结果表示一致,则将每个集群在相应临时路径下的待推送数据转移至集群的正式推送路径下进行存储。
6.一种数据推送控制装置,其特征在于,包括:
判断单元,用于判断待推送数据是否符合预定条件,得到判断结果;
配置文件生成单元,用于在所述判断结果表示符合时,获取所述待推送数据的数据源端信息及接收端信息,并生成推送配置文件;其中,所述接收端信息对应的接收端包括多个集群,每个集群包括多个节点,所生成的推送配置文件至少包括所述数据源端信息及所述接收端信息;
推送控制单元,用于根据所述推送配置文件中的数据源端信息获得待推送数据,并根据所述推送配置文件中的接收端信息,控制将获得的所述待推送数据推送至所述接收端信息所对应的各个集群。
7.根据权利要求6所述的装置,其特征在于,所述预定条件包括:所述待推送数据属于已生产完成未启动推送的数据且属于无需被丢弃的数据;
则所述判断单元,具体用于:判断待推送数据是否属于已生产完成未启动推送的数据且属于无需被丢弃的数据,得到判断结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811195963.6/1.html,转载请声明来源钻瓜专利网。