[发明专利]数据同步方法、装置、设备及计算机可读存储介质

摘要

一种基于数据处理的数据同步方法、装置、设备及计算机可读存储介质，所述方法包括根据获取指令获取多个服务器生成的同步数据任务；根据选择指令以抢占方式选择多个服务器中的一个作为指定服务器，并将切分权限分配给指定服务器；控制指定服务器获取至少一个同步数据任务并将对应的同步数据任务切分为多个任务块；根据维护指令执行维护线程检测切分线程的工作状态；根据抓取指令控制多个服务器分别执行抓取线程抓取任务块；根据处理指令控制多个服务器分别将抓取的任务块对应的数据存储至指定位置。本发明在多个服务器构成的数据同步系统中采用抢占的方式分配切分权限，并且多个服务器的抓取线程和处理线程同步进行，可提高数据同步速率。

主权项

1.一种数据同步方法，其特征在于，所述数据同步方法包括：/n在接收到获取指令时，获取多个服务器生成的同步数据任务，以构成任务池；/n在接收选择指令时，以抢占方式选择多个所述服务器中的一个作为指定服务器，并将切分权限分配给所述指定服务器；/n在接收到切分指令时，控制所述指定服务器从所述任务池内获取至少一个所述同步数据任务并执行切分线程，以将对应的所述同步数据任务切分为多个任务块；/n在接收到维护指令时，所述指定服务器执行维护线程，以检测所述切分线程的工作状态；/n在接收抓取指令时，控制多个所述服务器分别执行抓取线程，以抓取所述任务块；/n在接收到处理指令时，控制多个所述服务器分别处理抓取的所述任务块，以将所述任务块对应的数据存储至指定位置。/n