教学参考-49

来自cslt Wiki
跳转至: 导航搜索

教学目标

  • 了解生物学研究对显微镜的需求,了解透射光显微镜和荧光显微镜的区别和各自用途
  • 了解神经网络增强图像质量的基本原理
  • 了解神经网络生成荧光显微图像的基本原理
  • 引导学生讨论AI增强显微镜的更多用途

教学内容

AI显微镜

  • 显微镜是生物学家的必备工具,然而要得到高精度的显微图像并不容易。这是因为高精度成像需要昂贵的硬件且受实验条件限制,特别是对活体细胞、组织进行成像时,往往要求成像过程不能对原有的生物学特性产生影响,并且不能影响样本的健康状态。例如,生物学家通常需利用荧光显微镜(右图)来获取活体样本的生物信息,这时就必须考虑光毒性对样本的影响。
  • 人工智能技术给生物学家带来了惊喜。通过深度学习模型,可以从分辨率较低、噪声较高的显微图片生成高清显微图片,也可以从透射光显微图片生成荧光显微图片[2]。科学家用这个AI显微镜,就可以快速、廉价地进行生物学研究了。

显微图片增强

  • 2021年2月,《自然-机器智能》杂志发表了一篇来自美国德州农工大学的论文,报告了他们利用机器学习方法构造高清晰显微图像的成果[1]。在文章中,他们设计了一个称为GVTNet的神经网络模型,将质量较低的显微图像输入该模型,即可在输出端得到高清晰度的显微图像。
  • 输入一个带噪声的低质量3D显微图片,经过一个GVTNet后,即可将噪音去除,生成高质量的显微图片。
  • 可以看到,GVTNet确实学出了高质量显微图片的样子,甚至在细微处也非常相似。同时,也需要注意,AI所生成的图片和真实图片还是有一定差异的,这些差异是因为输入图片在该处的细节缺失,AI不得不靠想象来填充这些细节,因此有可能出现差错。

荧光显微图片生成

  • 研究者还发现,GVTNet不仅可以改善图片的质量,还可以从一种显微图片生成另一种类型的显微图片。如右图一所示,输入一个透射光图片,经过GVTNet之后,即可输出相应的荧光显微图片。
  • 有了GVTNet,生物学家就算没有荧光显微镜,也可以得到逼真的荧光显微图片了,极大降低了经济成本和时间成本,加快了研究步伐。同时,在那些不适合荧光染色的场合,利用这一技术依然可以得到近似的荧光显微图片。

更多增强功能

  • 除了提高图像质量和进行图像转换,AI显微镜还有很多其它”增强“功能,如图像合成、细胞分割、细胞状态检测、细胞分裂追踪等。