[发明专利]一种数据推送控制方法及装置

说明书

本发明公开一种数据推送控制方法及装置，所述方法包括判断待推送数据是否符合预定条件；若符合，则获得待推送数据的数据源端信息及接收端信息，并生成至少包括所述数据源端信息及所述接收端信息的推送配置文件；其中，所述接收端信息对应的接收端包括多个集群，每个集群包括多个节点；在此基础上，根据所述推送配置文件中的数据源端信息获得待推送数据，并根据所述推送配置文件中的接收端信息，控制将所述待推送数据推送至各个集群。可见，本发明方案实现了基于配置文件式的数据推送策略，以及集群化布署方式来进行数据推送，在应用于海量索引数据的推送时，能够实现索引数据的精准推送，较好地解决了海量索引数据的推送问题。

技术领域

本发明属于在线搜索服务的索引数据推送技术领域，尤其涉及一种数据推送控制方法及装置。

背景技术

随着互联网技术的不断发展以及网络多媒体资源(如视频)的爆炸式增长，一些在线搜索服务的索引数据也随之增长。

索引数据的不断增长，导致其精准的推送工作变得愈加困难，且在索引数据的推送处理过程中，由于带宽、服务器IO(Input/Output，输入/输出)、CPU(Central ProcessingUnit，中央处理器)等资源的消耗对在线服务产生的不良影响也在不断加大，鉴于此，本领域需提供一种较优的索引数据推送控制方案，以较好地解决海量索引数据的推送问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据推送控制方法及装置，旨在较好地解决海量索引数据的推送问题。

为此，本发明公开如下技术方案：

一种数据推送控制方法，包括：

判断待推送数据是否符合预定条件，得到判断结果；

若所述判断结果表示符合，则获取所述待推送数据的数据源端信息及接收端信息，并生成推送配置文件；其中，所述接收端信息对应的接收端包括多个集群，每个集群包括多个节点，所生成的推送配置文件至少包括所述数据源端信息及所述接收端信息；

根据所述推送配置文件中的数据源端信息获得待推送数据，并根据所述推送配置文件中的接收端信息，控制将获得的所述待推送数据推送至所述接收端信息所对应的各个集群。

优选的，所述预定条件包括：所述待推送数据属于已生产完成未启动推送的数据且属于无需被丢弃的数据；

则所述判断待推送数据是否符合预定条件，得到判断结果，包括：

判断待推送数据是否属于已生产完成未启动推送的数据且属于无需被丢弃的数据，得到判断结果。

优选的，所述获得待推送数据的数据源端信息及接收端信息，并基于所述数据源端信息及接收端信息生成推送配置文件，包括：

获得待推送数据所在的数据源端设备的网络互连协议IP地址及存储路径；

确定待推送数据所需要推送的各个集群，并获得所需要推送的集群中需推送的各节点的IP地址及推送路径；

根据所述数据源端设备的IP地址、存储路径，以及各个所需推送的集群中需推送的各节点的IP地址及推送路径，生成推送配置文件。

优选的，所述根据所述推送配置文件中的接收端信息，控制将所述待推送数据推送至各个所需集群，包括：

根据所述推送配置文件中配置的各个所需推送的集群中需推送的各节点的IP地址及推送路径，控制将所述待推送数据以块为单位推送至所述各个所需推送的集群的相应节点的相应推送路径下；

其中，每个集群中的不同节点接收所述待推送数据中的不同数据部分，且每个集群中各个节点所接收的各个不同数据部分构成所述待推送数据。