[发明专利]一种数据采集软件的数据处理方法

说明书

技术领域

本发明属于数据采集软件的技术领域，具体涉及一种数据采集软件的数据处理方法。

背景技术

在公司网络运营维护当中，网络中的各种网元都会定时以Telnet协议向网络中发送表示其工作状态的文本形式信息，由于网元间的差异，这些信息的组织方式和内容并不完全一致，在使用传统的数据采集方式时，可能会出现一种网元对应一种数据采集程序，在通迅技术飞速发展的今天，网元的更新换代也在不断加速，由此带来的网元向网络中发送的工作状态信息和组织方式和内容也在不断变化中，使得软件开发人员的工作量不加大，出现了大量的重复工作量，现有技术的数据采集往往只能单一，而且无法显示出网民的情感倾向。

发明内容

本发明的目的就是要提供一种数据采集软件的数据处理方法，通过该方法清楚的像用户显示查询内容网民的情感倾向和与查询内容相关的文本信息。

为了实现上述目的，本发明采用如下技术方案：

一种数据采集软件的数据处理方法，包括以下步骤：(1)用户登陆采集软件，输入语句；(2)采集软件分析出关键词，根据关键词进行查询，得出查询内容；(3)采集软件对查询内容的主题信息提供聚类和分类算法，将查询内容分为多个主题的集合；(4)采集软件对主题的特征，提供不同的自动文摘算法，为主题或子主题集合抽取出相应的文本摘要信息；(5)采集软件抽取文本摘要信息中情感词，和采集软件中的数据库进行对比分析，得出网民的情感倾向；

在上述技术方案的基础上，本发明还可以做如下改进：

进一步，所述步骤(2)中的查询是扩展查询，其中扩展查询包括语义扩展查询、拼音扩展查询和关键字联想查询，采用本步的有益效果是方便用于能够更加完整的得到数据；

进一步，所述步骤(2)的查询内容为采集软件去除标签和广告的内容，采用本步的有益效果是保证用户能够得到干净，清洁的内容；

进一步，用户可自行对采集到的数据进行处理，进行取子字符串、数制变换操作，满足多变的数据采集需求，采用本步的有益效果是方便用户对数据进行处理；

进一步，所述采集软件通过多个通道进行采集，采用本步的有益效果是提高数据采集速度；

传统信息查询方法一般是基于关键词的机械式匹配，本发明是通过关键词扩展进行文本检索，而且显示出网民对该主题的新型，这样可以方便用户对该主题进行准确的判断；

本发明的有益效果：本发明提供的方法可以根据用户自定义的需求，对查询结果进行处理和分析，制成统计报表或分析报告，这样可以方便用户的使用。

具体实施方式

以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例：

一种数据采集软件的数据处理方法，包括以下步骤：(1)用户登陆采集软件，输入语句；(2)采集软件分析出关键词，根据关键词进行查询，得出查询内容；(3)采集软件对查询内容的主题信息提供聚类和分类算法，将查询内容分为多个主题的集合；(4)采集软件对主题的特征，提供不同的自动文摘算法，为主题或子主题集合抽取出相应的文本摘要信息；(5)采集软件抽取文本摘要信息中情感词，和采集软件中的数据库进行对比分析，得出网民的情感倾向；

其中，所述步骤(2)中的查询是扩展查询，其中扩展查询包括语义扩展查询、拼音扩展查询和关键字联想查询，所述步骤(2)的查询内容为采集软件去除标签和广告的内容；

这样在使用时，通过采集软件得到的内容是完整的准确的内容；

其中，用户可自行对采集到的数据进行处理，进行取子字符串、数制变换操作，满足多变的数据采集需求，所述采集软件通过多个通道进行采集；

这样，在使用，可以方便用户对结果进行处理，最后制成报告，方便用户的使用；

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。