[发明专利]一种基于大数据确定疑似侵权数据的方法及设备

权利要求书

1.一种基于大数据确定疑似侵权数据的方法，其特征在于，所述方法应用于B/S结构及MVVM架构的设备中，包括：

获取用户设置的大数据采集任务；

基于数据抓取框架采集与所述任务对应的原始数据；

对采集到的所述原始数据进行数据清洗后确定疑似侵权数据；

将所述疑似侵权数据存储在与所述用户对应的数据库。

2.如权利要求1所述的方法，其特征在于，在获取用户设置的大数据采集任务之前，还包括：

对所述用户进行身份认证；

当所述身份认证通过后授权所述用户登录。

3.如权利要求1所述的方法，其特征在于，所述数据抓取框架具体为Scrapy框架或PySpider框架，基于抓取框架采集与所述任务对应的原始数据，具体为：

获取与所述任务对应的采集项目及采集平台，其中，所述采集项目具体包括：店铺相关信息、和或产品相关信息，所述采集平台具体包括：微信平台、和或微博平台、和或各电子商务平台；

根据所述采集项目在所述采集平台采集所述原始数据。

4.如权利要求1所述的方法，其特征在于，对采集到的所述原始数据进行数据清洗后确定疑似侵权数据，具体为：

对所述原始数据进行数据清洗，获取清洗后的数据，其中，所述数据清洗具体包括：检查一致性，处理无效值和缺失值；

对所述清洗后的数据进行多维度分析后确定所述疑似侵权数据，其中，所述多维度分析至少包括：销售金额分析、销售量分析、产品单价分析以及售后评价分析。

5.如权利要求1所述的方法，其特征在于，在将所述疑似侵权数据存储在与所述用户对应的数据库之后，还包括：

将所述疑似侵权数据进行可视化处理后在前端视图展示。

6.一种基于大数据确定疑似侵权数据的设备，其特征在于，所述设备为B/S结构及MVVM架构，包括：

获取模块，用于获取用户设置的大数据采集任务；

采集模块，用于基于数据抓取框架采集与所述任务对应的原始数据；

确定模块，用于对采集到的所述原始数据进行数据清洗后确定疑似侵权数据；

存储模块，用于将所述疑似侵权数据存储在与所述用户对应的数据库。

7.如权利要求6所述的设备，其特征在于，还包括认证模块，具体用于：

对所述用户进行身份认证；

当所述身份认证通过后授权所述用户登录。

8.如权利要求6所述的设备，其特征在于，所述数据抓取框架具体为Scrapy框架或PySpider框架，所述采集模块，具体用于：

获取与所述任务对应的采集项目及采集平台，其中，所述采集项目具体包括：店铺相关信息、和或产品相关信息，所述采集平台具体包括：微信平台、和或微博平台、和或各电子商务平台；

根据所述采集项目在所述采集平台采集所述原始数据。

9.如权利要求6所述的设备，其特征在于，所述确定模块，具体用于：

对所述原始数据进行数据清洗，获取清洗后的数据，其中，所述数据清洗具体包括：检查一致性，处理无效值和缺失值；

对所述清洗后的数据进行多维度分析后确定所述疑似侵权数据，其中，所述多维度分析至少包括：销售金额分析、销售量分析、产品单价分析以及售后评价分析。

10.如权利要求6所述的设备，其特征在于，还包括展示模块，用于将所述疑似侵权数据进行可视化处理后在前端视图展示。