[发明专利]基于NSQ消息队列的文件导入方法、装置、设备及存储介质

说明书

本发明适用于大数据领域，提供一种基于NSQ消息队列的文件导入方法、装置、设备及存储介质，方法包括：通过获取待导入文件；检测所述待导入文件的大小，将所述待导入文件的大小与预先设置的文件大小阈值进行比较；若所述待导入文件小于所述文件大小阈值，则将所述待导入文件加入到预先设置的第一NSQ消息队列；若所述待导入文件大于所述文件大小阈值，则将所述待导入文件加入到预先设置的第二NSQ消息队列；将所述第一NSQ消息队列以及所述第二NSQ消息队列中的待导入文件分别通过不同的话题通道同时进行导入。通过对待导入文件大小进行分流，将待导入文件按大小不同分别加入到第一NSQ消息队列和第二NSQ消息队列进行导入，可以提高文件导入效率。

技术领域

本发明涉及大数据领域，尤其涉及一种基于NSQ消息队列的文件导入方法、装置、设备及存储介质。

背景技术

随着信息时代的发展，数据信息的吞吐量越来越大，为使文件数据便于管理，文件数据中都包含时间戳，因此现有的文件导入方法都是按照时间先后的顺序进行文件导入。当存在大容量文件时，在进行批量文件导入的过程中，后续的文件需要待前面的文件导入完成后才能进行导入，如果在前面的文件容量很大，会使后的文件等待很长的时间。因此，现有的文件导入方法存在导入效率低的问题。

发明内容

本发明实施例提供一种基于NSQ消息队列的文件导入方法、装置、设备及存储介质，旨在解决现有技术中文件导入方法效率低的问题。

第一方面，本发明提供了一种基于NSQ消息队列的文件导入方法，其特征在于，所述方法包括以下步骤：

获取待导入文件；

检测所述待导入文件的大小，将所述待导入文件的大小与预先设置的文件大小阈值进行比较；

若所述待导入文件小于所述文件大小阈值，则将所述待导入文件加入到预先设置的第一NSQ消息队列；

若所述待导入文件大于所述文件大小阈值，则将所述待导入文件加入到预先设置的第二NSQ消息队列；

将所述第一NSQ消息队列以及所述第二NSQ消息队列中的待导入文件分别通过不同的话题通道同时进行导入。

可选的，在所述若所述待导入文件小于所述文件大小阈值，则将所述待导入文件加入到预先设置的第一NSQ消息队列后，所述方法还包括：

对所述第一NSQ消息队列中的待导入文件进行导入；

实时记录所述第一NSQ消息队列中的待导入文件的第一导入结果，所述第一导入结果包括第一导入状态；

实时返回所述第一导入结果。

可选的，在所述若所述待导入文件大于所述文件大小阈值，则将所述待导入文件加入到预先设置的第二NSQ消息队列后，所述方法还包括：

对所述第二NSQ消息队列中的待导入文件进行导入；

实时记录所述第二NSQ消息队列中的待导入文件的第二导入结果，所述第二导入结果包括第二导入状态及导入进度；

通过状态控制返回所述第二导入结果。

可选的，所述方法还包括：

将所述第一NSQ消息队列或所述第二NSQ消息队列中已经导入的待导入文件的信息进行分布式锁处理。

可选的，所述方法还包括：

获取所述待导入文件的跟进信息；

根据所述跟进信息，提取所述待导入文件的跟进人信息，将所述待导入文件关联到跟进信息库中对应跟进人信息中。

可选的，所述方法还包括：

获取所述待导入文件的客户信息；