[发明专利]文旅资源采集方法和系统在审
申请号: | 202111021050.4 | 申请日: | 2021-09-01 |
公开(公告)号: | CN113626513A | 公开(公告)日: | 2021-11-09 |
发明(设计)人: | 赵进平;陈海江 | 申请(专利权)人: | 浙江力石科技股份有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/22;G06F16/215;G06F16/28 |
代理公司: | 南京普睿益思知识产权代理事务所(普通合伙) 32475 | 代理人: | 曹花 |
地址: | 310000 浙江省杭州市余杭区文一西*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 旅资 采集 方法 系统 | ||
1.一种文旅资源采集方法,其特征在于,包括以下步骤:
数据采集,采集程序进行数据的采集将原始数据保存入库;
数据抽取,抽取程序进行数据的聚合和分析,将原始数据经过抽取转化成业务需要的数据,并保存至中间临时数据表;
数据交换,交换程序将抽取完成的业务数据交换至业务数据库,供业务系统使用;
其中,所述数据采集、所述数据抽取和所述数据交换的过程中均进行实时控制和监控,出现异常时可以实时预警。
2.根据权利要求1所述的文旅资源采集方法,其特征在于,
所述采集程序通过字段映射配置和任务调度的方法,将接口对接的数据全量存储入库。
3.根据权利要求2所述的文旅资源采集方法,其特征在于,
所述数据采集,包括以下步骤:
第一步,建立符合采集数据标准的规约库;
第二步,配置采集字段和规约库的表字段的映射关系;
第三步,配置数据采集的接口请求参数和采集频率;
第四步,配置数据采集程序预警规则;
第五步,启用采集程序。
4.根据权利要求1所述的文旅资源采集方法,其特征在于,
所述抽取程序根据文旅业务数据使用要求,将采集的全量数据聚合分析成有价值的业务数据并存储在中间临时数据表中。
5.根据权利要求4所述的文旅资源采集方法,其特征在于,
所述数据抽取,包括以下步骤:
第一步,建立符合抽取标准的规约表;
第二步,配置抽取规则,即源数据字段聚合及计算规则;
第三步,将第二步结果映射至抽取表数据字段;
第四步,配置数据抽取程序预警规则;
第五步,启用抽取程序。
6.根据权利要求1所述的文旅资源采集方法,其特征在于,
所述交换程序根据文旅业务数据要求,将抽取的结果数据转换至文旅业务数据库。
7.根据权利要求6所述的文旅资源采集方法,其特征在于,
所述数据交换,包括以下步骤:
第一步,配置抽取程序规约库连接;
第二步,配置文旅业务数据库连接;
第三步,配置抽取程序规约库数据表和文旅业务数据库数据表的映射关系;
第四步,选择映射关系创建交换任务;
第五步,配置数据交换预警规则;
第六步,配置交换任务执行频率并启用任务。
8.一种文旅资源采集系统,其特征在于,包括:采集程序、抽取程序和交换程序;
所述采集程序进行数据的采集将原始数据保存入库;
所述抽取程序进行数据的聚合和分析,将原始数据经过抽取转化成业务需要的数据,并保存至中间临时数据表;
所述交换程序将抽取完成的业务数据交换至业务数据库,供业务系统使用;
其中,所述采集程序、所述抽取程序和所述交换程序局均设有实时控制和监控程序,进行实时控制和监控,出现异常时可以实时预警。
9.根据权利要求8所述的文旅资源采集系统,其特征在于,
所述采集程序通过字段映射配置和任务调度的方法,将接口对接的数据全量存储入库。
10.根据权利要求8所述的文旅资源采集系统,其特征在于,
所述抽取程序根据文旅业务数据使用要求,将采集的全量数据聚合分析成有价值的业务数据并存储在中间表中;
所述交换程序根据文旅业务数据要求,将抽取的结果数据转换至文旅业务数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江力石科技股份有限公司,未经浙江力石科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111021050.4/1.html,转载请声明来源钻瓜专利网。