[发明专利]对电子显微镜拍摄的微观结构照片进行智能着色的方法及CNN着色学习器

说明书

本发明公开了一种对电子显微镜拍摄的微观结构照片进行智能着色的方法及CNN着色学习器,包括如下步骤：首先制作一个数据集，该数据集是多张彩色SEM图像的集合，着色器对上述数据集进行学习；将电子显微镜拍摄的待着色的微观灰度照片作为输入图像转换至LAB色彩空间，将微观灰度照片截取像素尺寸为H×W的灰度图像作为CNN的输入图像X_L；着色器自行着色。本发明的着色过程需要额外提供与目标被着色的灰度图像纹理结构相似的现实生活中的彩色图像作为参考图像。由于是对卷积神经网络进行的端到端黑箱式训练，不需要人工参与。

【技术领域】

本发明涉及一种对电子显微镜拍摄的微观结构照片进行智能着色的方法及CNN着色学习器，属于电子显微镜图片成像着色领域。

【背景技术】

在1937年扫描电子显微镜(SEM)发明后，纳米科学、纳米技术实验及其观察变得相对容易。它为我们提供了一些纳米或微米级别的出色图像。SEM成像技术为不同的研究人员做出了巨大的贡献，并在纳米技术和纳米科学中得到了广泛的应用。纳米技术是纳米尺度(10^-9米)处理物体以创造新的独特材料和产品的尖端科学。纳米技术领域如石墨烯、蛋白质、二维材料以及任何微电子实验的SEM图像都是以黑白照片的形式呈现给大家，也正是由于电子显微镜的发明能够直观的把微观世界展示给大家而极大的推动了纳米科学的快速发展，为人类的科学探索做出了重大的贡献。

尽管SEM成像结果具有许多优点，但黑白成像图像已经无法满足人们对微观结构信息的表达，甚至在现实情况中使用黑白扫描电子显微镜的图像可能会导致实验者对实验处理产生一定程度的误解。为了防止这种情况的发生，研究人员花费了大量资金将他们的实验图像重新绘制为彩色图像，以此展示出样本的多元化和三维形式的外观。

另一方面，SEM显微镜下的每个物体实际上都是具有自己真实的颜色，只是由于人们无法凭肉眼观看如此小尺度的结构。即使有一些纳米结构本身是黑白色的，但是不同结构的黑白色纳米结构不易区分，如果能够用不同的颜色加以修饰，这样使人们对于他们的区分便一目了然。而且这些微观结构大部分也能在人们日常生活中找到相对类似的宏观物体结构。因此，不论是微观结构本身具有不同的颜色，还是我们赋予微观结构日常生活中所看到的颜色，这都将大大的增加微观结构图片的信息量，无论是从美学角度还是从科研分析角度，都具有重要意义。

因此，将黑白的电子显微镜图像上色已成为纳米技术显微图像中的当务之急。目前，人们最常用的方法是使用像Photoshop,Corel Draw,Fiji,ImageJ等这样的软件和手工绘图，这些软件的学习会消耗一定的知识和时间，即使这些方法中的某些方法都提供了自动彩色化的工具，但是它们仍然需要大量的用户参数输入。而且，这些人工绘制方法每一幅照片都需要花费大量的时间精力，而且如果交给商业公司去做则需要支付昂贵的费用。更重要的是这样的人工绘制人为主观影响很大，颜色的选择全凭绘图者喜好，不能真实反映结构的通用和常规颜色。而本专利提出的人工智能绘图技术基于大量的实际照片学习能够块速及客观的绘制彩色的电子显微镜照片。

【发明内容】

本发明所要解决的技术问题在于克服现有技术的不足而提供一种对电子显微镜拍摄的微观结构照片进行端到端以及像素到像素的智能着色方法及CNN色彩风格迁移着色学习器。

解决上述技术问题，本发明采用如下技术方案：

一种对电子显微镜拍摄的微观结构照片端到端进行智能着色的方法，包括如下步骤：