[发明专利]全网电商数据自动管理系统以及设备

说明书

本发明公开了一种全网电商数据自动管理系统以及设备。针对全网电商数据的管理需求，提出通过对入库公共流程的预先梳理并加入可视化的操作方式，以此提升全网电商数据入库流程的工作效率，方便了对各种入库数据的整理，并对不同的电商平台配置了相应的规则，由此可以免于为不同电商进行重复开发；此外，通过设计日志单元，对每一条数据在各流程中的处理状态进行实时跟踪，以便当出现问题时可以迅速追查问题所在，进一步地，也可以开放每个批次数据的可视化处理进度给后台查看，以便协助管控；同时，还设计了统计及通知单元，可以通过邮件形式对统计后的数据进行邮件推送，从而方便相关人员了解整个电商数据入库各环节流程的过程细节和处理结果。

技术领域

本发明涉及信息处理领域，尤其涉及一种全网电商数据自动管理系统以及设备。

背景技术

随着互联网的发展以及大数据时代的到来，电商数据成为了重要的数据资源。为了能对全网电商提供的商品及消费数据进行综合分析，前期的数据预处理是非常重要的，因为数据的好坏决定了后续机器学习、数据分析等的上限，所以数据前期的预处理是非常重要的。为了能整理来自全网各大电商的商品及消费数据，实践中必须建立复杂的流程来整合和处理这些数据，以此方便后期机器学习、分析使用。

假设有n个电商平台，当需要对接A电商的数据时，通常要单独整理A电商的分类特征、品牌特征、商品规格等数据，相应地需要对接一套对应的数据读取、入库、属性映射、聚合商品URL等操作的流程。然而，对接的数据不仅仅只输入一次，可能会分批次产生多次相关操作，这就导致平时进行数据管理时候会出现诸如分类错误、图片不全、品牌不匹配等问题，又不能实时查看处理进度以及失败原因，导致效率低下，尤其当对接大量的电商平台时，这些问题便会成倍增长。

可见，对于全网电商数据的管控是一个非常耗费人力和物力的工作，因而亟待一套自动化程度较高的综合整理、管理工具来提升数据处理效率。

发明内容

鉴于上述，本发明旨在提供一种全网电商数据自动管理系统以及设备，还相应地提供了一种计算机程序产品，以针对全网电商数据入库管理该特定的应用场景，弥补实际所需。

本发明采用的技术方案如下：

第一方面，本发明提供了一种全网电商数据自动管理系统，包括：

数据操作单元，用于为预先梳理的各类公共流程形成相应的可视化监控界面，并以正则方式匹配相应于不同电商平台的数据特征；

日志单元，用于存储并可视化地展示各流程相关数据处理状态；

统计及通知单元，用于基于预设条件统计日志数据，并生成通知邮件进行推送。

可选地，所述数据操作单元包括：交互操作组件，用于在所述可视化监控界面中构建并管控交互控件。

可选地，所述日志单元包括日志分表组件，用于对超过预设规模标准的日志单表数据进行拆分。

可选地，所述统计及通知单元包括：定时组件，用于按照预设时间对数据进行汇总统计。

可选地，所述统计及通知单元包括：拆分组件，用于在生成邮件前将导出数据及逆行拆分，以适应邮件承载量。

可选地，所述系统还包括：批次管理单元，用于将输入的电商数据进行批次化整理。

第二方面，本发明提供了一种全网电商数据自动管理设备，包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备运行上述全网电商数据自动管理系统。

可选地，所述设备包括：PC、服务器或智能终端。