[发明专利]基于Kafka的媒资数据存储方法、装置、电子设备及存储介质

权利要求书

1.一种基于Kafka的媒资数据存储方法，其特征在于，包括：

对待存储媒资数据进行预处理得到第一数据，并所述第一数据写入到分布式消息队列Kafka中；

消费所述分布式消息队列Kafka，以将所述第一数据写入至数据运营层；

对所述数据运营层中的所述第一数据进行清洗转换得到第二数据，并将所述第二数据写入数据明细层；

对所述数据明细层中的所述第二数据进行处理后，将处理后的所述第二数据写入到数据服务层。

2.根据权利要求1所述的方法，其特征在于，所述对待存储媒资数据进行预处理，并将预处理后的第一数据写入到分布式消息队列Kafka中，包括：

对所述待存储媒资数据进行格式转换，并识别所述待存储媒资数据中每一数据包含的数据标签；

当所述待存储媒资数据完成格式转换时，基于所述数据标签对完成格式转换后的所述待存储媒资数据进行分类；

根据得到的分类结果，将完成分类后的所述待存储媒资数据写入到分布式消息队列Kafka的topic中。

3.根据权利要求1所述的方法，其特征在于，所述消费所述分布式消息队列Kafka，以将所述第一数据写入至数据运营层，包括：

消费所述分布式消息队列Kafka的topic，得到所述第一数据；

对所述第一数据中每一数据进行数据筛选和格式转换，得到对应的第二数据；

将所述第二数据写入至数据运营层。

4.根据权利要求1所述的方法，其特征在于，所述在所述数据运营层对所述第一数据进行清洗转换，并将清洗转换得到的第二数据写入数据明细层，包括：

对所述第一数据进行数据解析和信息提取，得到所述第一数据中每一数据对应的字段信息；

将所述字段信息写入至对应的数据表格中，并对所述数据表格进行异常值处理，以所述第一数据写入至数据明细层中。

5.根据权利要求1所述的方法，其特征在于，所述对所述数据明细层中的所述第二数据进行处理后，将处理后的所述第二数据写入到数据服务层，包括：

基于所述第二数据所包含的数据类别，创建各数据类别对应的关系表，并基于所述关系表对所述第二数据进行信息提取，得到特征信息；

根据所述特征信息，确定所述第二数据的写入类型，其中所述写入类型包括新增和更新；

根据所述写入类型将所述第二数据基于所述关系表写入至数据服务层中。

6.根据权利要求5所述的方法，其特征在于，所述根据所述特征信息，确定所述第二数据的写入类型，包括：

根据所述特征信息在已存储关系表中进行查询，确定所述特征信息是否存在于所述已存储关系表中；

若所述特征信息存在于所述已存储关系表中，则所述第二数据的写入类型为更新；

若所述特征信息不存在于所述已存储关系表中，则所述第二数据的写入类型为新增。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

当接收到数据分析指令时，识别所述数据分析指令包含的数据标识；

根据所述数据标识在所述数据明细层中进行数据查询和分析得到第一分析结果，以及在所述数据服务层中进行数据查询和分析得到第二分析结果；

将所述第一分析结果和所述第二分析结果进行汇总，并展示汇总结果。

8.一种基于Kafka的媒资数据存储装置，其特征在于，包括：

数据处理模块，用于对待存储媒资数据进行预处理得到第一数据，并所述第一数据写入到分布式消息队列Kafka中；

第一写入模块，用于消费所述分布式消息队列Kafka，以将所述第一数据写入至数据运营层；

第二写入模块，用于对所述数据运营层中的所述第一数据进行清洗转换得到第二数据，并将所述第二数据写入数据明细层；

第三写入模块，用于对所述数据明细层中的所述第二数据进行处理后，将处理后的所述第二数据写入到数据服务层。