[发明专利]一种数据存储方法、装置、设备和存储介质

说明书

本发明公开了一种数据存储方法、装置、设备和存储介质。该方法包括：从目标数据源采集数据；根据所述数据中的字段信息，确定所述字段信息映射的字段类型；在与所述目标数据源对应的数据库表中，将所述数据存储到与所述字段类型对应的存储空间中。本发明通过为数据库表的存储空间设置不同的字段类型的方式，为具有不同数据结构的数据源提供统一的存储结构，避免了为具有不同数据结构的数据源分别设置不同的数据存储结构，降低了不同目标数据源的存储复杂度，简化了数据存储步骤，提高了数据存储效率，不同数据结构的目标数据源可以复用本发明的入库逻辑，方便不同数据结构的目标数据源的数据统一入库。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据存储方法、装置、设备和存储介质。

背景技术

在现有技术中，海量数据的采集和存储是一个工作量巨大的工程，从性能和稳定性的角度考虑，海量数据的采集和存储需要以流式的方式进行处理。目前，不同数据源采用的数据结构不同，例如：微信数据源、微博数据源、问答数据源等等，各个数据源遵循各自的数据结构。这就导致在设计底层存储时，需要为每个数据源设计一个与之相匹配的数据结构，以便存储来自该数据源的数据，也即是说，需要为不同数据源提供定制化的数据结构。

综上所述，由于不同数据源对应不同的数据结构，使得针对不同数据源的数据存储效率低下。尤其是在开辟一个新的数据源时，需要先为该数据源设计对应的数据结构，使得开辟新数据源需要的工作量较大。

发明内容

本发明的主要目的在于提供一种数据存储方法、装置、设备和存储介质，以解决现有的数据存储方式中，针对不同数据结构的数据源需要设计不同的数据结构的问题。

针对上述技术问题，本发明是通过以下技术方案来解决的：

本发明提供了一种数据存储方法，包括：从目标数据源采集数据；根据所述数据中的字段信息，确定所述字段信息映射的字段类型；在与所述目标数据源对应的数据库表中，将所述数据存储到与所述字段类型对应的存储空间中。

其中，在所述从目标数据源采集数据之前，还包括：在新增所述目标数据源时，创建与所述目标数据源对应的数据库表；所述数据库表中包括多个存储空间，每个存储空间用于存储一种字段类型对应的字段信息；和/或，根据所述目标数据源的数据结构，设置映射关系表；其中，所述映射关系表包括：所述目标数据源中的每种字段信息分别映射的字段类型。

其中，所述确定所述字段信息映射的字段类型，包括：通过查询所述映射关系表，确定所述字段信息映射的字段类型。

其中，在将所述数据存储到与所述字段类型对应的存储空间中之前，所述方法还包括：确定所述数据中的每个字段信息分别对应的字段类型；确定所述数据库表中分别对应每个所述字段类型的存储空间；所述将所述数据存储到数据库表中与所述字段类型对应的存储空间中，包括：将所述数据中的每个字段信息分别存储至所述数据库表中相应的存储空间中；和/或，在将所述数据存储到所述存储空间中时，如果存储位置中已经存储有数据，则使用采集的所述数据覆盖已经存储的数据。

其中，在数据库中包括多张存储结构至少部分相同的数据库表；其中，每张所述数据库表用于存储从一个目标数据源采集的数据。

其中，所述字段类型，包括：通用字段和特有字段；其中，所述通用字段，用于映射不同数据结构的目标数据源之间的相同字段；所述特有字段，用于映射不同数据结构的目标数据源之间的不同字段。

其中，所述字段类型，还包括：扩展字段；其中，所述扩展字段，用于映射目标数据源中新扩展的字段。

本发明还提供了一种数据存储装置，包括：采集模块，用于从目标数据源采集数据；查询模块，用于根据所述数据中的字段信息，确定所述字段信息映射的字段类型；存储模块，用于在与所述目标数据源对应的数据库表中，将所述数据存储到与所述字段类型对应的存储空间中。