[发明专利]一种基于智能制造过程的多源异构数据存储方法

说明书

本发明属于数据处理技术领域，具体涉及一种基于智能制造的多源异构数据存储方法。该方法包括以下步骤：多源异构数据采集；引入传感器缺失数据填补算法确保存储数据完整；选择可以有效存储多源异构数据的数据库；根据创建的树形映射方法进行多元异构数据存储映射；根据提出的大文件直接存储小文件通过缓冲队列与大文件进行合并方法进行多元异构数据的存储。本发明公开了一种基于智能制造的多源异构数据存储方法，其具体有以下有益效果：确保传感器数据无缺失存储；树形映射机制更加清楚表述数据之间相互关系，增加了异构数据存储的扩展性，方便查找和存储；大文件直接存储，小文件通过缓冲队列与大文件合并存储减少了存储空间浪费。

技术领域

本发明涉及数据处理技术领域，特别涉及基于智能制造过程的多源异构数据存储方法。

背景技术

随着电子信息技术的发展，电子生产企业在生产流水线上安装了越来越多的传感器，为将来的产品故障排查提供数据支撑，也为减少残次品提供了数据支撑。

电子生产流水线上的传感器种类繁多，所产生的数据有结构化、半结构化和非结构化的大量多源异构数据。在多源异构数据的存储上，现有方法有很多不足之处；在进行传感器数据存储时，没有把传感器由于宕机、断电、源器件损坏等导致实时数据缺失的情况和数据存储融合联系在一起。

在对多源异构数据进行存储时，大多数方案以存储和查看的效率为重，在提高存储效率和减少数据存储冗余度方面都表现出色的方法较少。传统的多源异构数据存储方案中，在进行数据存储时，缺少扩展性强、易于表示的多源异构数据关系映射方案；并且很难尽可能的消除语义定义的差异，给多源化异构数据的融合造成了困难。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于智能制造过程的多源异构数据存储方法，可填补传感器因各种原因导致的缺失数据，保证数据采集的完整性。

通过使用MongoDB存储结构化、半结构化文件，音频、视频采用MongoDB内置的GridFS文件系统进行存储。

针对多源异构数据存储创建树形映射方案，使得多源异构数据在存储上具有良好的扩展性。

使用大文件直接存储、小文件通过缓冲队列与大文件合并的方法；这种方法增加了存储率，减少了存储空间浪费。

通过存储传感器数据时做出缺失数据填补的方式确保传感器数据完整的存储。

根据树形映射机制，将不同传感器数据放在不同的块中进行存储；父节点表示子节点的语义以及相互映射关系；这种存储方式，给多源异构数据的存储增加了扩展性，提高了访问效率和存储效率。

叶子节点通过大文件直接存储方式存储；小文件通过缓冲队列存储的方式进行数据的存储；降低了存储空间的冗余度。

附图说明

图1为基于智能制造过程的多源异构数据存储方法图。

图2为传感器缺失数据填补流程图。

图3为树形映射结构方案图。

图4为大文件直接存储，小文件通过缓冲队列与大文件合并流程图。

图5为多源异构数据存储方案图。

具体实施方式

针对智能制造生产线上传感器传输中断、宕机所产生的数据不完整问题，引入了一种面向统一数据模型的缺失数据填补算法。

该算法采用改进的混沌遗传优化方法估计不完整数据的均值和协方差对应的最佳参数；再根据已知数据利用改进（MCMC）方法估计缺失数据,解决了调控数据中的缺失问题。

该算法能通过较少的迭代次数获得最优的缺失数据解值；通过算法的计算使缺失数据的估计值更加准确,有效的保证了数据的准确性和完整性。