[发明专利]文件拆分方法、装置、计算机设备和存储介质有效
申请号: | 201810106722.3 | 申请日: | 2018-02-02 |
公开(公告)号: | CN108304554B | 公开(公告)日: | 2020-07-28 |
发明(设计)人: | 古立夫;周承亮;朱胜元;黄克海;柳水泉;石芸 | 申请(专利权)人: | 平安证券股份有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/182;G06F16/14;G06Q40/04 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 谢曲曲 |
地址: | 518048 广东省深圳市福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文件 拆分 方法 装置 计算机 设备 存储 介质 | ||
1.一种文件拆分方法,所述方法包括:
获取多个待拆分文件,识别多个待拆分文件之间的关联度;
比较多个待拆分文件的相似度,根据相似度对相关的多个待拆分文件进行排序,根据排序确定相关的多个待拆分文件为不同的优先等级,并将不相关的多个待拆分文件确定为相同的优先等级;
识别多个待拆分文件的文件类型,根据所述文件类型获取对应的拆分规则;所述拆分规则包括多个拆分维度;
根据所述拆分规则和所述优先等级,调用多线程对多个待拆分文件进行拆分,得到每个待拆分文件在不同拆分维度的多个子文件;
对多个所述子文件分别添加对应的维度标识;
根据所述维度标识,将多个所述子文件发送至相应的结算设备。
2.根据权利要求1所述的方法,其特征在于,获取多个待拆分文件的步骤包括:接收登记设备发送的多个目标文件,将多个目标文件存储至目标数据库;
在所述目标数据库检测是否存在结束标识符;
当存在所述结束标识符时,根据接收时序在所述目标数据库提取所述结束标识符与上一个结束标识符之间的目标文件,将提取到的目标文件作为待拆分文件。
3.根据权利要求1所述的方法,其特征在于,根据所述拆分规则和所述优先等级,调用多线程对多个待拆分文件进行拆分的步骤,包括:
当所述待拆分文件的文件类型为第一类型时,调用预设的拆分接口,调用多线程利用所述拆分接口对相应待拆分文件进行拆分;
当所述待拆分文件的文件类型为第二类型时,获取预设的多个拆分维度分别对应的拆分表达式,调用多线程对相应待拆分文件进行遍历,将每个拆分表达式与所述待拆分文件进行匹配,根据匹配结果对所述待拆分文件进行拆分。
4.根据权利要求1所述的方法,其特征在于,根据所述拆分规则和所述优先等级,调用多线程对多个待拆分文件进行拆分的步骤,包括:
计算多个待拆分文件分别对应的数据量;
对指定的多个拆分终端的负载进行监测;
获取预设的数据量和负载的最优匹配文件,根据最优匹配文件确定指定的多个拆分终端分别可以拆分的待拆分文件的总数据量;
根据所述总数据量以及所述关联度,对多个待拆分文件进行分组;
将多组待拆分文件分别分配至相应拆分终端,使所述拆分终端根据所述优先等级,从不同拆分维度对相应待拆分文件进行拆分;
接收所述拆分终端返回的所述待拆分文件在不同拆分维度的多个子文件。
5.根据权利要求1~4任意一项所述的方法,其特征在于,所述待拆分文件包括多条清算记录;相邻的两条清算记录采用分隔符进行分隔;所述根据所述拆分规则和所述优先等级,调用多线程对多个待拆分文件进行拆分的步骤包括:
计算多个待拆分文件分别对应的数据量,检测所述数据量是否超过阈值;
当所述数据量超过阈值时,获取预设的目标数据量,根据所述目标数据量确定每个待拆分文件的拆分位置;
检测每个拆分位置是否位于相邻分隔符之间;
当所述拆分位置位于一个分隔符处时,在所述拆分位置对相应待拆分文件进行拆分,得到所述待拆分文件对应的多个中间文件;
当所述拆分位置位于相邻分隔符之间时,在所述相邻分隔符中任意一个分隔符处对相应待拆分文件进行拆分,得到所述待拆分文件对应的多个中间文件;
根据所述拆分规则和所述优先等级,调用多线程对多个中间文件进行拆分。
6.根据权利要求1所述的方法,其特征在于,将多个所述子文件发送至相应的结算设备的步骤,包括:
对拆分得到的多个子文件的总数据量进行校验;
对拆分得到的多个子文件分别对应清算记录的总数量进行校验;
获取预设的多个关键字段,在拆分得到的多个子文件提取关键字段,对提取到的关键字段与预设的关键字段进行匹配;
当多个子文件的总数据量以及对应清算记录的总数量分别校验通过,且提取到的关键字段与预设的关键字段匹配成功时,将多个所述子文件发送至相应的结算设备。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安证券股份有限公司,未经平安证券股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810106722.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据迁移方法、装置、计算机设备和存储介质
- 下一篇:分布式地图数据处理方法