[发明专利]一种基于互联网数据的电子商务交易监测方法

权利要求书

1.一种基于互联网数据的电子商务交易监测方法，其特征在于其具体实现过程为：

一、首先对互联网数据进行定制采集，统计互联网中现有的电子商务平台及各平台的交易规则，对各平台的用户及产品进行分类梳理，确定数据采集的具体内容，完成数据采集系统配置，将该采集数据置于分布式文件系统中；

二、去重清洗，对于采集得到的数据，通过过滤，或修改不完整的数据、错误的数据或重复的数据，将非结构化数据转化为结构一致的数据，使得数据标准化、结构化，为数据处理做准备；

三、跨界数据整合，将纳税申报信息与互联网采集处理后的信息对比，整合处理内部已有信息与外部采集信息；

四、数据挖掘，通过数据挖掘算法从上述整合的数据中搜索隐藏的信息，寻找数据之间的规律；

五、数据分析，根据数据之间的内在关系分析原因，概况总结并形成结论；

六、结果展示，通过图形化的数据展示方式展现纳税人之间的关系。

2.根据权利要求1所述的一种基于互联网数据的电子商务交易监测方法，其特征在于：所述步骤一中的数据通过网络爬虫定制采集，该网络爬虫自动提取网页，为搜索引擎从互联网上下载网页，其采集过程为：爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的停止条件。

3.根据权利要求2所述的一种基于互联网数据的电子商务交易监测方法，其特征在于：所述网络爬虫的详细抓取过程为：

1）首先选取工作人员挑选的种子URL；

2）将这些URL放入待抓取URL队列；

3）从待抓取URL队列中读取URL，解析DNS，得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中，同时将这些URL放进已抓取URL队列；

4）分析已抓取URL队列中的URL，分析其中的URL并抽取出新的URL，并且将fai新的URL放入待抓取URL队列，进入下一个循环。

4.根据权利要求1所述的一种基于互联网数据的电子商务交易监测方法，其特征在于：所述步骤二中去重清洗的详细过程为：

1）首先定义和确定错误的类型；

2）然后搜寻并识别错误的实例；

3）纠正所发现的错误；

4）将干净数据回流。

5.根据权利要求4所述的一种基于互联网数据的电子商务交易监测方法，其特征在于：所述去重清洗使用的是数据清洗算法，该数据清洗算法包括重复记录算法和属性清洗算法，其中消除重复记录算法过程为：先将数据库中的记录排序，然后通过比较邻近记录是否相似来检测记录是否重复，当有重复发生时，消除该重复部分的记录；

属性清洗算法：考察属性值的周围值来平滑属性的值，即将属性值分布到等深或等宽的区域中，用区域中属性值的平均值或中值替换该区域中的属性值；然后通过计算机检测可疑数据并修正错误。

6.根据权利要求5所述的一种基于互联网数据的电子商务交易监测方法，其特征在于：所述检测并修正错误通过以下三种方式完成：使用规则库检测并修正错误；使用不同属性间的约束检测并修正错误；使用外部数据源检测并修正错误。