[发明专利]一种自动对业务数据信息进行处理的方法及系统

说明书

本发明公开了一种自动对业务数据信息进行处理的方法及系统，包括：利用分布式计算框架mapreduce对获取的原始业务数据进行数据清洗，以获取物品信息数据文件和品牌信息数据文件；按照预设的转换规则对所述品牌信息数据文件中的字段信息进行信息转换，以获取经过信息转换的品牌信息数据文件；将所述物品信息数据文件和经过信息转换的品牌信息数据文件进行关联，并根据需求基于品牌信息进行数据抽取，以获取第二物品信息文件；获取每个物品的关键字信息增加到所述第二物品信息文件中，并对所述关键字信息进行词性标注；根据预设的关键字信息过滤规则对第二物品信息文件进行过滤，并将经过过滤处理的物品信息文件作为完整物品信息文件存储到索引库中。

技术领域

本发明涉及大数据技术领域，并且更具体地，涉及一种自动对业务数据信息进行处理的方法及系统。

背景技术

根据国家税务总局规定，每一类的物品都具有对应的税收行业分类编码，主要是为了区分物品行业类别和每一类物品的税率，而在我们日常的生活中，这些税率来说很难获取到，或者因为失误操作很容易来填错，所以，为实现智能开票，则需要一种能够根据物品的信息来智能识别其物品分类编码等信息，以确定税率的方法。

发明内容

本发明提出一种自动对业务数据信息进行处理的方法及系统，以解决如何自动对业务数据信息进行处理的问题。

为了解决上述问题，根据本发明的一个方面，提供了一种自动对业务数据信息进行处理的方法，其特征在于，所述方法包括：

利用分布式计算框架mapreduce对获取的原始业务数据进行数据清洗，以获取物品信息数据文件和品牌信息数据文件；

按照预设的转换规则对所述品牌信息数据文件中的字段信息进行信息转换，以获取经过信息转换的品牌信息数据文件；

将所述物品信息数据文件和经过信息转换的品牌信息数据文件进行关联，以获取第一物品信息文件，并根据需求基于品牌信息进行数据抽取，以获取第二物品信息文件；

获取每个物品的关键字信息，将所述关键字信息增加到所述第二物品信息文件中，并对所述关键字信息进行词性标注；

根据预设的关键字信息过滤规则，将所述第二物品信息文件中不符合要求的关键字信息进行过滤，并将经过过滤处理的物品信息文件作为完整物品信息文件存储到索引库中。

优选地，其中所述物品信息数据文件的字段信息包括：物品编码、物品名称、物品数量和合计金额；所述品牌信息数据文件的字段信息包括：物品编码、中文品牌和英文品牌。

优选地，其中所述按照预设的转换规则对所述品牌信息数据文件中的字段信息进行信息转换，以获取经过信息转换的品牌信息数据文件，包括：

对于只有中文品牌信息的业务数据，判断所述中文品牌信息是否有对应的英文品牌信息，若有，则直接将所述中文品牌信息对应的英文品牌信息添加到英文品牌字段中；

对于只有英文品牌信息的业务数据，判断所述英文品牌信息是否有对应的中文品牌信息，若有，则直接将所述英文品牌信息对应的中文品牌信息添加到中文品牌字段中。

优选地，其中所述根据需求基于品牌信息进行数据抽取，以获取第二物品信息文件，包括：

根据需求基于品牌信息进行抽取，将成功抽取的业务记录数据作为第二物品信息文件进行存储；

对未成功抽取的业务记录数据进行人工抽取。

优选地，其中所述对未成功抽取的业务记录数据进行人工抽取，包括：