[发明专利]一种自动对业务数据信息进行处理的方法及系统

权利要求书

1.一种自动对业务数据信息进行处理的方法，其特征在于，所述方法包括：

利用分布式计算框架mapreduce对获取的原始业务数据进行数据清洗，以获取物品信息数据文件和品牌信息数据文件；

按照预设的转换规则对所述品牌信息数据文件中的字段信息进行信息转换，以获取经过信息转换的品牌信息数据文件；

将所述物品信息数据文件和经过信息转换的品牌信息数据文件进行关联，以获取第一物品信息文件，并根据需求基于品牌信息进行数据抽取，以获取第二物品信息文件；

获取每个物品的关键字信息，将所述关键字信息增加到所述第二物品信息文件中，并对所述关键字信息进行词性标注；

根据预设的关键字信息过滤规则，将所述第二物品信息文件中不符合要求的关键字信息进行过滤，并将经过过滤处理的物品信息文件作为完整物品信息文件存储到索引库中；

其中，所述按照预设的转换规则对所述品牌信息数据文件中的字段信息进行信息转换，以获取经过信息转换的品牌信息数据文件，包括：

对于只有中文品牌信息的业务数据，判断所述中文品牌信息是否有对应的英文品牌信息，若有，则直接将所述中文品牌信息对应的英文品牌信息添加到英文品牌字段中；

对于只有英文品牌信息的业务数据，判断所述英文品牌信息是否有对应的中文品牌信息，若有，则直接将所述英文品牌信息对应的中文品牌信息添加到中文品牌字段中；

所述将经过过滤处理的物品信息文件作为完整物品信息文件存储到索引库中，包括：

将经过过滤处理的物品信息文件进行形式整理，以获取json格式文件，并将所述json格式文件导入到索引库中，以使得能够通过外部api调用elasticsearch来进行信息查询。

2.根据权利要求1所述的方法，其特征在于，所述物品信息数据文件的字段信息包括：物品编码、物品名称、物品数量和合计金额；所述品牌信息数据文件的字段信息包括：物品编码、中文品牌和英文品牌。

3.根据权利要求1所述的方法，其特征在于，所述根据需求基于品牌信息进行数据抽取，以获取第二物品信息文件，包括：

根据需求基于品牌信息进行抽取，将成功抽取的业务记录数据作为第二物品信息文件进行存储；

对未成功抽取的业务记录数据进行人工抽取。

4.根据权利要求3所述的方法，其特征在于，所述对未成功抽取的业务记录数据进行人工抽取，包括：

判断未成功抽取的业务记录数据中每条业务记录数据是否含有品牌信息或未成功抽取的业务记录数据的数据量与所述第一物品信息文件中的业务记录数据的总数据量的百分比是否大于等于预设百分比阈值，若是，则进行人工抽取，并将抽取出的业务记录数据存储到所述第二物品信息文件中；反之，则不进行人工抽取。

5.根据权利要求1所述的方法，其特征在于，所述预设的关键字信息过滤规则包括：

将包含预设敏感词语的经过词性标注的关键字信息进行过滤。