[发明专利]一种基于时空信息加权的多源数据融合的方法与装置

权利要求书

1.一种基于时空信息加权的多源数据融合的方法，其特征在于：包括如下步骤：

S1、建立基准数据库；

S2、通过多种数据收集渠道，收集到多份增量数据集；

S3、依次将DS1…DS5融合进基准数据库；

S4、复盘数据融合过程，对数据融合算法进行调优。

2.根据权利要求1所述的一种基于时空信息加权的多源数据融合的方法，其特征在于，所述S1中具体步骤为：

S1.1、以省自治区为单位，建立31个基准表，词库表，字典表；

S1.2、设计基准表的表结构；

S1.3、在基准表，词库表，字典表中填充初始数据，包括WGS84坐标系下的POI及地理位置信息。

3.根据权利要求1所述的一种基于时空信息加权的多源数据融合的方法，其特征在于，所述S2中具体步骤为：

S2.1、接收从不同渠道获取到多份增量数据：包括传感器收集、人工录入、开放的数据平台、第三方合作、购买；

S2.2、收集到增量数据集名称分别叫DS1、DS2…DSn；

S2.3、将增量数据进行本地化存储和归档。

4.根据权利要求1所述的一种基于时空信息加权的多源数据融合的方法，其特征在于，所述S3中具体步骤为：

S3.1、对增量数据集分别进行预处理；

S3.2、依次寻找增量数据集中各记录在基准库中的同一记录

S3.3、将增量数据集的数据追加更新进基础数据库。

5.根据权利要求1所述的一种基于时空信息加权的多源数据融合的方法，其特征在于，所述S4具体步骤为：

S4.1、从数据融合日志系统中提取本次数据融合的所有操作日志

S4.1、重放操作日志，更新词库表和字段名称字典表

S4.2.1、根据日志中地址字段的分词信息，按需更新词库表；

S4.2.2、根据日志中其他字段名称，按需更新字段名称字典表；

S4.3、重放操作日志，制作机器学习样本

S4.3.1、采用人工标记的手段，对每条历史对应的融合过程进行打分；

S4.3.2提取每条历史的关键字段和打分数据；

S4.3.3、按照机器学习算法要求，生成本次操作的机器学习样本数据；

S4.4、基于样本数据，采用机器学习算法优化更新加权因子

S4.4.1、采用机器学习算法，基于样本数据进行训练，训练出更优的加权模型；

S4.4.2、将最新的加权模型更新到字典表中；

S4.5、重新执行步骤s4.3。

6.根据权利要求4所述的一种基于时空信息加权的多源数据融合的方法，其特征在于，所述S3.1的具体步骤如下：

S3.1.1、对增量数据集进行清洗，剔除离群数据；

S3.1.2、空间参考系及度量单位的统一；

S3.1.3、关键字段检测；

S3.1.4、补齐关键字段和对应内容：若经纬度字段无值，用地理编码生成WGS84坐标系下的经纬度进行填充；

S3.1.5、基于字典表对增量数据集进行字段映射：介于数据来源的多样性，对同一属性名称的定义不同，如属性“类别”可能被命名为“类型”、“类别”，为了保证数据的可读性及一致性，需要按属性名实指，根据字典映射表对基准库字段与增量数据集字段进行映射；

S3.1.6、向日志系统中追加一条数据预处理日志：其中包含被过虑的记录信息以及过滤的原因、字段补齐信息、空间转换信息、字段映射信息、操作时间等信息。