[发明专利]一种业务文件的切片方法和装置

说明书

本发明实施例提供了一种业务文件的切片方法及装置，通过获取各个预设城市的小区数据，以及与所述城市对应的城市等级，接着确定针对所述小区数据的切割线程，然后通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识，从而实现了按照城市等级对所有小区数据进行切片，并生成与城市对应的配置文件，大大减少了文件的数据量，有利于对数据进行同步与维护，同时通过多个线程进行数据切片处理，进一步增加了数据处理的效率。

技术领域

本发明涉及数据技术领域，特别是涉及一种业务文件的切片方法和一种业务文件的切片装置。

背景技术

服务提供方可以通过各个广告平台进行内容投放，为了更精确的获得用户和流量，需要以信息流的方式将服务信息展示给用户。例如，对于租房服务中的小区租房，需要将小区的信息进行展示。

当前，采用是的遍历每个小区数据，然后按照小区ID尾号进行取模，散列在多个切片中，全量读取一次数据需要6-8个小时。并且，按照一个切片一个文件的规则进行生成切片文件，则文件数量大，数据更新困难，且很容易同步失败，进而影响内容投放。

发明内容

鉴于上述问题，提出了本发明实施例提供一种业务文件的切片方法，以解决现有技术中数据庞大、同步困难且不容易进行维护的问题。

相应的，本发明实施例还提供了一种业务文件的切片装置，用以保证上述方法的实现及应用。

为了解决上述问题，本发明实施例公开了一种业务文件的切片方法，包括：

获取各个预设城市的小区数据，以及与所述城市对应的城市等级；

确定针对所述小区数据的切割线程；

通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识。

可选地，所述配置文件包括多个切片文件以及所述切片文件的切片文件标识，所述方法还包括：

将所述配置文件发送至预设客户端，所述客户端用于采用所述配置文件标识与所述切片文件标识，展示与所述切片文件对应的小区数据。

可选地，所述通过多个所述切割线程根据所述城市等级，对所述小区数据进行数据切片处理，生成与所述城市对应的配置文件，并为所述配置文件生成唯一的配置文件标识，包括：

获取与所述城市等级对应的步长；

通过多个所述切割线程按照所述步长，并行对各个所述小区数据进行切片，生成与各个所述城市对应的配置文件；

并为所述配置文件生成唯一的配置文件标识；

其中，不同城市等级对应不同的步长。

可选地，所述通过多个所述切割线程按照所述步长，并行对各个所述小区数据进行切片，生成与各个所述城市对应的配置文件，包括：

按照预设数量对所述小区数据进行切片，生成与所述小区数据对应的若干切片文件，并为每个切片文件生成唯一的切片文件标识；

采用同一小区数据对应的若干切片文件，生成与所述城市对应的配置文件；

其中，当切割后剩余的小区数据中小区数量小于预设数量时，将所述剩余的小区数据作为一个切片文件。

可选地，还包括：

获取针对所述配置文件的检测进程；

当所述检测进程检测到所述配置文件中不存在小区数据时，则将所述配置文件删除。

可选地，还包括：