[发明专利]一种使用深度强化学习模型进行油藏最优注采方案预测模型及其预测方法

说明书

本发明提供一种使用深度强化学习模型进行油藏最优注采方案预测模型及其预测方法，仿真水驱油藏模型，用于拟合真实生产环境的历史数据，从而仿真实际的生产环境供智能体模型学习；水驱注采方案优化模型，用于与仿真水驱油藏模型和智能体模型进行交互，进而实现对智能体模型进行优化的目的；智能体模型，用于根据当前的生产状态来设计相应的注采方案，并根据水驱注采方案优化模型反馈的奖励值来不断优化，从而输出最优的注采方案；注采指标迁移优化方案模型，用于提高仿真水驱油藏模型预测结果的准确性。本发明利用通过训练得到的模型来对未来的油田生产提供最优注采方案，从而达到产油最大化。

技术领域

本发明涉及油藏配产配注技术领域，更具体地说涉及一种使用深度强化学习模型进行油藏最优注采方案预测模型及其预测方法。

背景技术

油藏最优注采方案模型分为“隐环境”、“显环境”以及“智能体”三大部分。其中隐环境即为仿真水驱油藏模型，其输入注水量、井口压力等数据，其中间的隐藏层可以输出注水井的注水劈分以及各生产井的横向劈分，可以反映出地下情况，最终输出各生产井的日产液及日产油数据；由于隐环境只能拟合地下情况而不能对智能体的注采方案进行打分，因此显环境用来与隐环境和智能体交互，显环境的输入为智能体生成的注采方案，而显环境的输出为产油量，作为智能体生成的注采方案的奖励；而智能体顾名思义，是最终提供注采方案的模型，其输入为隐环境中间隐藏层的输出，输出为具体的注水量及生产井对应的产液量，并根据显环境输出的产油量作为奖励利用强化学习不断的优化智能体，使得其在不同的环境当中做出最优的决策。

发明内容

本发明克服了现有技术中的不足，提供了一种使用深度强化学习模型进行油藏最优注采方案预测模型及其预测方法，本发明利用通过训练得到的模型来对未来的油田生产提供最优注采方案，从而达到产油最大化。

本发明的目的通过下述技术方案予以实现。

一种使用深度强化学习模型进行油藏最优注采方案预测模型，包括仿真水驱油藏模型、水驱注采方案优化模型、智能体模型和注采指标迁移优化方案模型，

仿真水驱油藏模型，用于拟合真实生产环境的历史数据，从而仿真实际的生产环境供智能体模型学习；

水驱注采方案优化模型，用于与仿真水驱油藏模型和智能体模型进行交互，进而实现对智能体模型进行优化的目的；

智能体模型，用于根据当前的生产状态来设计相应的注采方案，并根据水驱注采方案优化模型反馈的奖励值来不断优化，从而输出最优的注采方案；

注采指标迁移优化方案模型，用于提高仿真水驱油藏模型预测结果的准确性。

仿真水驱油藏模型包括VerticalNet、HorizonNet和LiftNet三个子模型；

VerticalNet的输入数据是仿真水驱油藏模型的输入为日注水量与井口压力，VerrticalNet的输出数据为注水井的纵向劈分、注水井在各小层的压力、注水井在各小层周围的地层压力和各小层的驱油总量；

HorizonNet的输入数据为VerticalNet的输出数据，HorizonNet的输出数据为各小层的横向劈分、各生产井在不同小层上的压力、不同小层周围的地层压力、各生产井在不同小层的产油量与驱油量；

LiftNet的输入数据为HorizonNet的输出数据，LiftNet的输出数据即为仿真水驱油藏模型的输出数据，为生产井的日产液与日产油。

水驱注采方案优化模型的输入数据为智能体模型的注采方案，水驱注采方案优化模型经过SIP模型的训练之后的输出数据为生产井的产油量，并以此作为奖励值反馈给智能体模型，同时，水驱注采方案优化模型会将仿真水驱油藏模型VerticalNet输出数据中的纵向劈分和HorizonNet输出数据中的横向劈分传给智能体模型作为智能体模型的输入数据。