[发明专利]基于感存算一体化的内窥镜高清视频处理系统及方法

权利要求书

1.一种基于感存算一体化的内窥镜高清视频处理系统，其特征在于，所述系统包括：感存算一体化模块、图像信号处理模块和无线通信模块；

所述感存算一体化模块，用于感知、计算和存储待测视场的探测信息，并输出图像信号；

所述图像信号处理模块，使用一个或多个图像处理较正算法将所述图像信号进行修复、优化处理，并输出为视觉图像信息；

所述无线通信模块，用于构建图像信号处理模块与显示器之间的通信，以将所述视觉图像信息显示在显示器；

其中，所述感存算一体化模块包括感存算芯片、预设在所述感存算芯片的信息原位处理单元；通过所述感存算芯片感知、计算和存储待测视场的探测信息，并在计算所述探测信息的过程中运行所述信息原位处理单元，所述信息原位处理单元基于多注意力机制对所述探测信息进行多维度图像异质融合特征表达，以实现存内原位计算；

所述信息原位处理单元至少包括：基于多注意力机制的图像异质融合模型、具有两层以上全连接子网络的语言解码网络；

所述的图像异质融合模型，可以根据一种多维度视觉图像信息原位处理算法搭建；其中所述图像异质融合模型是注意力引导的多维度图像异质融合特征表达模型；通过该模型可以实现不同维度特征在深度子空间的最优表示，实现存内原位计算；多维度视觉图像信息原位处理算法在模型中引入多注意力机制，通过提取多个层次的图像特征经过多注意力结构连接到语言解码网络的多层语言模型中，使得语言解码网络可以自适应地决定生成描述时所使用的各层次的图像特征的权重；

图像异质融合模型，配置有基于柔性参数共享的多任务学习框架和联合学习损失，实现多维信息解构、融合和理解；配置有基于逐组量化机制和结构化剪枝的神经网络模型压缩与加速方法，在算力和内存资料受约束的情况下，实现存内原位计算。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括光学接头，所述光学接头与感存算一体化模块耦合连接，用于获取待测视场的探测信息。

3.根据权利要求1所述的系统，其特征在于，所述感存算芯片包括传感模块和存储运算模块，所述传感模块和存储运算模块一体集成在一基底上；

所述传感模块包括像素单元和模数转换单元，所述像素单元用于采集待测视场产生的像素信号，并将采集的像素信号传输给所述模数转换单元，所述模数转换单元能够接收所述像素信号，并将该像素信号转换为数字信号传输给数据传输单元；所述数据传输单元与所述存储运算模块连接，用于将所述数字信号传输给所述存储运算模块；

所述存储运算模块，用于接收、存储所述数据传输单元传输的数字信号，并将接收或存储的所述数字信号进行处理，以获得图像信号。

4.根据权利要求3所述的系统，其特征在于，所述像素单元采用全局式快门像素结构，该全局式快门像素结构能够在逐行读出像素信号中的像素前执行全局动作机制，进而控制所有像素同时开始曝光和结束曝光。

5.根据权利要求3所述的系统，其特征在于，所述模数转换单元包括采样保持器、模数转换器；

所述采样保持器，将像素单元传输的像素信号进行模拟采样并读出，得到N个像素信号；

所述模数转换器，按照时序将所述采样保持器采集的N个像素信号转换为至少N个像素的数字信号。

6.根据权利要求3所述的系统，其特征在于，所述存储运算模块采用双字线SRAM的存内计算电路；所述双字线SRAM的存内计算电路包括存储阵列和外围运算电路，所述外围运算电路至少包括连接在所述存储阵列相应位线的预充电路、行译码电路、列译码电路及输出电路，所述行译码电路还连接有时序控制电路，所述列译码电路分别连接所述时序控制电路和输出电路。

7.根据权利要求1所述的系统，其特征在于，所述图像信号处理模块包括：主控芯片、电源供电单元和存储器；所述主控芯片分别与所述感存算芯片、电源供电单元和存储器连接；所述主控芯片还与无线通信模块进行无线通信连接。