[发明专利]一种用于构建数字城市的数据处理方法和系统

说明书

本发明提出用于构建数字城市的数据处理方法和系统。方法包括：获取用于构建数字城市的K维数据以生成K维数据的特征向量；利用K维数据的特征向量训练预测模型，预测模型包含N个编解码层，每个编解码层均包含M个编码器和一个解码器，每个编解码层中的M个编码器的输出作为同一编解码层解码器的输入；对于第一编解码层，其包含的M个编码器的输入均为K维数据的特征向量；对于其他编解码层中的每个编码器C，其输入包括K维数据的特征向量、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出；采集数字城市的实时K维数据，利用经训练的预测模型预测各个维度的数据在未来固定时段内的数据量。

技术领域

本发明属于数据处理技术领域，尤其涉及一种用于构建数字城市的数据处理方法和系统。

背景技术

随着物联网设备和大数据处理技术的飞速发展，构建数字城市成为新的热点技术。毋庸置疑，构建数字城市所需的数据量是巨大的，通常包括多维度的数据，例如，接入水、电、气、热、煤的使用情况，再如，接入通信网络的使用情况，又如，接入交通线路网的实时流量，等等。对于本就如此巨大的数据量，当出现突发的数据瞬时增长的状况时，如何应对海量数据的缓存/存储问题，以及如何对数据增长做出预判，成为急需解决的技术问题。

发明内容

本发明提出了一种用于构建数字城市的数据处理方案，以解决上述技术问题。

本发明第一方面公开了一种用于构建数字城市的数据处理方法。所述方法包括：

步骤S1、获取用于构建数字城市的K维数据，以生成所述K维数据的特征向量；

步骤S2、利用所述K维数据的特征向量训练预测模型，所述预测模型为seq2seq模型，用于预测所述K维数据在未来固定时段内的数据量；其中：

所述预测模型包含N个编解码层，每个编解码层均包含M个编码器和一个解码器，所述每个编解码层中的所述M个编码器的输出作为同一编解码层所述解码器的输入；对于第一编解码层，其包含的M个编码器的输入均为所述K维数据的特征向量；对于其他编解码层中的每个编码器C，其输入包括所述K维数据的特征向量、前一编解码层的解码器的输出、所有在先编解码层包含的与当前编解码层中编码器C对应的编码器的输出，其中N、M、K为整数，M≥1，N≥1，K≥2；

步骤S3、采集所述数字城市的实时K维数据，利用经训练的所述预测模型，来预测所述数字城市中K维数据的各个维度的数据在所述未来固定时段内的数据量。

根据本发明第一方面的方法，所述步骤S1具体包括：

利用多路传感器采集所述用于构建数字城市的K维数据，所述K维数据包括交通网路数据、用水数据、用电数据、用气数据、通信网络数据中的至少两种；

从所述K维数据的各个维度的数据中分别提取固定时长的数据，以对提取出的固定时长的数据执行电压、波峰/波谷、频率、周期的归一化处理；

将归一化处理的各个维度的数据以固定次序进行拼接，从而获得所述K维数据的特征向量。

根据本发明第一方面的方法，在所述步骤S2中，对于所述N个编解码层中的每一层，其包含的M个编码器中最后一个编码器的输入还包括注意力特征，所述注意力特征由如下公式来表征：