[发明专利]一种贸易数据镜像数据库的生成方法

说明书

本发明提供一种贸易数据镜像数据库的生成方法。本发明方法，包括：对使用的贸易数据进行整合，整理出每种贸易数据的数据项、内容完整性，从中提取出最终生成的数据项；对使用的数据项进行清洗，实现语言标准化、信息标准化、统计方式标准化，得到第一数据库；对第一数据库进行筛选，提取简练的第二数据库；将得到的第二数据库进行数据项匹配整理出新的数据库。本发明在拥有大批量贸易数据的情况下，可以得到多个新的镜像数据库，使用此数据库可以通过简单的检索得到更清晰、更有用的外贸数据，有效地反向推导出所要分析国家的某一维度的进/出口贸易数据。

技术领域

本发明涉及外贸数据处理领域，尤其涉及一种贸易数据镜像数据库的生成方法。

背景技术

2017全年我国进出口贸易总额突破27.79万亿元人民币，较2016年增长了14.2％。我国民营企业进出口总额10.7万亿，较去年增长了15.3个百分点，占我国进出口总值的38.5％。中国民营企业在进出口贸易中的作用，越来越重要。进、出口总额高速增长，一方面说明，中国市场的影响力越来越重要，另一方面也说明，中国民营企业的国际竞争力越来越大。

目前，大数据一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。

但是，在贸易数据领域中，部分国家对某些数据项是不公开的，这也造成了大数据分析的最大阻碍。

发明内容

根据上述提出的技术问题，而提供一种贸易数据镜像数据库的生成方法。本发明采用的技术手段如下：

一种贸易数据镜像数据库的生成方法，包括如下步骤：

S1、提取第一国家的公开进/出口贸易数据并对其进行进行整合，整理出每种贸易数据的数据项、内容完整性，从中提取出预推算的第二国家的未公开出/进口贸易数据所需维度的第一数据项；

S2、对所述第一数据项进行清洗，完成语言标准化、信息标准化和统计方式标准化，对各维度的第一数据项进行整合构建第一数据库；

S3、分别对第三国家……第N国家的公开进/出口贸易数据按照步骤S1、S2中的方法进行提取并清洗，对所述第一数据库及第三数据库……第N数据库进行筛选，反向推演出第二国家的出/进口贸易数据，据此提取简练的第二数据库；

S4、将得到的第二数据库进行数据项匹配整理出新的数据库，其中，第二数据库中原本的贸易国为生成的镜像数据库的报告国，第二数据库中原本的报告国为生成的镜像数据库的贸易国，第二数据库中原本的进口数据为生成的镜像数据库的出口数据，第二数据库中原本的出口数据为生成的镜像数据库的进口数据。

进一步地，所述贸易数据包括：统计数据，提单数据和报关单数据。

进一步地，所述贸易数据的文件格式为可进行处理的数据库文件或可存储数据条的文件格式。

进一步地，所述步骤S2中，第一数据项具体清洗步骤为：提取使用数据项中全部不重复数据，使用标准化基础库进行查找生成匹配库，再使用匹配库与贸易数据进行匹配，完成数据项清洗工作，生成标准化的第一数据库。

进一步地，所述步骤S3中，通过所需维度的最终数据添加筛选条件，对贸易数据进行提取，得到数据条零散的第二数据库。

进一步地，所述步骤S4中，根据S1得到的数据项，对得到的第二数据库进行整合，最终得到一个数据条完整、格式统一的镜像数据库。

本发明通过对第一国家的公开进/出口贸易数据反向推导出第二国家的出/进口贸易数据，以此得到多个新的各维度的镜像数据库，使用此数据库可以通过简单的检索得到更清晰、更有用的外贸数据。