[发明专利]数据文件合并方法、装置、电子设备和计算机可读介质有效
申请号: | 202310287305.4 | 申请日: | 2023-03-23 |
公开(公告)号: | CN115994120B | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 张正宇 | 申请(专利权)人: | 北京飞轮数据科技有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16 |
代理公司: | 北京唯智勤实知识产权代理事务所(普通合伙) 11557 | 代理人: | 孙姣 |
地址: | 100190 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据文件 合并 方法 装置 电子设备 计算机 可读 介质 | ||
本公开的实施例公开了数据文件合并方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:根据所接收的各个导入数据组,确定各个导入数据组所对应的各个导入数据文件;根据各个导入数据文件,确定各个导入数据文件的数量是否满足预设数量条件;响应于确定各个导入数据文件的数量满足预设数量条件,根据各个导入数据文件,确定各个目标数据文件;将各个目标数据文件组合为目标数据文件队列;响应于确定目标数据文件队列中的各个目标数据文件满足合并条件,对各个目标数据文件进行合并,以生成合并数据文件。该实施方式实现了避免超限导致的导入失败,节约了用户时间和资源,提高了导入数据的性能。
技术领域
本公开的实施例涉及计算机技术领域,具体涉及数据文件合并方法、装置、电子设备和计算机可读介质。
背景技术
将导入至联机分析处理系统的数据进行合并,用户使用联机分析处理系统查询数据更加便捷。目前,在对导入数据进行合并时,通常采用的方式为:限制导入的数据量,对所导入的数据对用户进行展示以及异步的合并导入数据,或对导入的数据进行合并之后再对用户进行展示。
然而,发明人发现,当采用上述方式对导入数据进行合并时,经常会存在如下技术问题:
第一,当将数据导入之后对用户进行展示且异步合并导入数据时,若用户对所展示的未合并的数据进行操作,造成用户对导入数据的操作效率较低,且对用户导入的数据量进行限制,系统不能预估需导入的数据量,造成用户导入较多数据时才超限以造成导入失败,从而导入数据的性能较差,以及浪费用户时间和计算资源。
第二,当对导入数据合并之后再对用户进行展示时,对所有的导入数据进行合并,造成合并导入数据的时间较长,合并数据的效率较低,导致用户等待的时间较长,导入数据的性能较差。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了数据文件合并方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种数据文件合并方法,该方法包括:根据所接收的各个导入数据组,确定所接收的各个导入数据组所对应的各个导入数据文件。其中,各个导入数据组中的导入数据组对应各个导入数据文件中的导入数据文件;根据各个导入数据文件,确定各个导入数据文件的数量是否满足预设数量条件;响应于确定各个导入数据文件的数量满足预设数量条件,根据各个导入数据文件,确定各个目标数据文件;将各个目标数据文件组合为目标数据文件队列;响应于确定目标数据文件队列中的各个目标数据文件满足合并条件,对各个目标数据文件进行合并,以生成合并数据文件。
第二方面,本公开的一些实施例提供了一种数据文件合并装置,装置包括:第一确定单元,被配置成根据所接收的各个导入数据组,确定所接收的各个导入数据组所对应的各个导入数据文件。其中,各个导入数据组中的导入数据组对应各个导入数据文件中的导入数据文件;第二确定单元,被配置成根据各个导入数据文件,确定各个导入数据文件的数量是否满足预设数量条件;第三确定单元,被配置成响应于确定各个导入数据文件的数量满足预设数量条件,根据各个导入数据文件,确定各个目标数据文件;组合单元,被配置成将各个目标数据文件组合为目标数据文件队列;合并单元,被配置成响应于确定目标数据文件队列中的各个目标数据文件满足合并条件,对各个目标数据文件进行合并,以生成合并数据文件。
第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京飞轮数据科技有限公司,未经北京飞轮数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310287305.4/2.html,转载请声明来源钻瓜专利网。