[发明专利]一种信息处理方法及系统

说明书

本申请公开了一种信息处理的方法和系统，其属于数据处理这一技术领域，其设计要点在于：所述方法包括：获取传感装置数据，提取所述传感装置数据信息，输入预设判断模型，根据输出的综合结果存储到不同的节点，并进行不同的任务分配和处理。本发明旨在提供一种信息处理的方法和系统，既节约了存储成本，又提高了处理效率。

技术领域

本发明涉及一种信息处理方法和系统，属于计算机网络技术领域以及信息处理技术领域。

背景技术

大数据时代，计算机信息处理技术成为人类工作生活中必不可少的部分，当前当网络环境存在着数据量大、数据种类多、处理速度要求快、空间价值密度低第等四大数据特征。计算机信息处理技术是计算机网络技术的核心，大数据网络环境下，对信息处理技术提出来更高的要求。网络环境下计算机处理为人们提供来极大的便利，但与此同时，大数据量的集中处理带来了存储灾难和算力浪费，对系统软硬件和资源成本提出了挑战。

发明内容

本发明的目的在于针对上述现有技术的不足，提供一种信息处理方法和系统。

一种信息处理方法，所述方法包括：

获取传感装置数据；

提取所述传感装置数据信息，其中，所述数据信息包括：存储信息、索引信息以及内容信息；

对所述数据信息输入预设判断模型，将输出的综合结果不低于阈值的数据存储到第一存储节点中，将输出的综合结果低于阈值的数据存储到第二存储节点中；

第一存储节点发送操作请求，第一管理节点接收操作请求，从所述操作请求中解析索引信息，依据所述索引信息找到对应计算节点并发送操作指令；

所述计算节点将操作指令划分为多个待处理的任务，并行执行；

第二存储节点发送操作请求，第二管理节点接收操作请求，从所述操作请求中解析存储信息，每隔预定时间将所述存储信息与预设阈值进行比较，低于预设阈值的存储节点内数据信息将被第二管理节点删除，不低于预设存储阈值的存储节点内数据信息将被推送至第三管理节点，以作为测试样本进行判断模型训练。

进一步地，所述第一存储节点是高速存储空间，第二存储节点是低速存储空间。

进一步地，所述预设判断模型采用以下多种算法级联构建，具体的步骤为：

根据存储信息，将不符合条件的传感装置数据过滤，所述条件是指存储节点的最大存储能力条件；

解析过滤后的传感装置数据的内容信息，用改进的特征选择算法及特征权重算法对内容信息进行特征表示；

根据表示的特征向量，所使用k-means算法进行主题聚类，根据传感装置数据内容与处理主题类簇中心的距离计算重要度，将传感装置数据进行重要度排序；

训练adaboost分类器，对待修正结果的数据信息进行分类，得出修正后的结果；

根据预设模型计算出数据信息的综合结果，并进行输出。

进一步地，在计算节点任务执行完成后，第一管理节点将其管理的每个计算节点所处理数据信息及处理时间记录在日志中，第三管理节点周期性调取日志，获取日志信息，将数据信息及处理时间信息输入评价模型，以对当前判断模型的稳定性和准确性进行判断；

当所述当前判断模型的稳定性未达到预设稳定性阈值或所述当前判断模型的准确性未达到预设准确性阈值时，对判断模型进行调整，形成新的判断模型；

当所述当前判断模型的稳定性达到所述预设稳定性阈值且所述当前判断模型的准确性达到所述预设准确性阈值时，继续保留所述当前判断模型。

一种信息处理系统，所述处理系统包括：采集模块，用于获取传感装置数据；