[发明专利]基于NSQ消息队列的文件导入方法、装置、设备及存储介质有效
申请号: | 201910241606.7 | 申请日: | 2019-03-28 |
公开(公告)号: | CN109947701B | 公开(公告)日: | 2023-08-29 |
发明(设计)人: | 张星亮;黄育源 | 申请(专利权)人: | 深圳市六度人和科技有限公司 |
主分类号: | G06F16/11 | 分类号: | G06F16/11;G06F16/182;G06F16/176 |
代理公司: | 深圳盛德大业知识产权代理事务所(普通合伙) 44333 | 代理人: | 贾振勇 |
地址: | 518000 广东省深圳市南山区粤*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明适用于大数据领域,提供一种基于NSQ消息队列的文件导入方法、装置、设备及存储介质,方法包括:通过获取待导入文件;检测所述待导入文件的大小,将所述待导入文件的大小与预先设置的文件大小阈值进行比较;若所述待导入文件小于所述文件大小阈值,则将所述待导入文件加入到预先设置的第一NSQ消息队列;若所述待导入文件大于所述文件大小阈值,则将所述待导入文件加入到预先设置的第二NSQ消息队列;将所述第一NSQ消息队列以及所述第二NSQ消息队列中的待导入文件分别通过不同的话题通道同时进行导入。通过对待导入文件大小进行分流,将待导入文件按大小不同分别加入到第一NSQ消息队列和第二NSQ消息队列进行导入,可以提高文件导入效率。 | ||
搜索关键词: | 基于 nsq 消息 队列 文件 导入 方法 装置 设备 存储 介质 | ||
【主权项】:
1.一种基于NSQ消息队列的文件导入方法,其特征在于,所述方法包括以下步骤:获取待导入文件;检测所述待导入文件的大小,将所述待导入文件的大小与预先设置的文件大小阈值进行比较;若所述待导入文件小于所述文件大小阈值,则将所述待导入文件加入到预先设置的第一NSQ消息队列;若所述待导入文件大于所述文件大小阈值,则将所述待导入文件加入到预先设置的第二NSQ消息队列;将所述第一NSQ消息队列以及所述第二NSQ消息队列中的待导入文件分别通过不同的话题通道同时进行导入。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市六度人和科技有限公司,未经深圳市六度人和科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910241606.7/,转载请声明来源钻瓜专利网。