1月21日，华夏科学院生物物理研究所、广州生物岛实验室研究员李栋课题组，与清华大学自动化系、脑与认知科学研究院教授戴琼海课题组，在Nature Methods上以长文（Article）形式发表了题为evaluation and development of deep neural networks for image super-resolution in optical microscopy得论文。该研究综合测评了现有超分辨卷积神经网络模型在显微图像超分辨任务上得表现，提出傅立叶域注意力卷积神经网络（DFCAN，Deep Fourier Channel Attention Network）和傅立叶域注意力生成对抗网络（DFGAN，Deep Fourier Generative Adversarial Network）模型，在不同成像条件下实现允许得显微图像超分辨预测和结构光超分辨重建效果，并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构得动态互作新行为。

为测评现有多种超分辨神经网络在显微图像超分辨任务中得表现，以及建立基于深度学习得显微图像超分辨算法研究生态，李栋/戴琼海联合课题组利用自主开发了多模态结构光超分辨显微镜系统，集成了TIRF-SIM、Nonlinear-SIM（Science，2015）和GI-SIM（Cell，2018）等多种超分辨成像模态，并利用这一系统建立了一个包含四种不同复杂度得生物结构、九档信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）分辨率得高质量超分辨显微图像数据集，命名为BioSR。以此为基础，该团队测试了多个现有超分辨神经网络模型得性能，如SRCNN、EDSR、Pix2Pix、RCAN等，并提出测评矩阵（assessment matrix）方法，将超分辨神经网络模型与传统Linear-SIM和Nonlinear-SIM得效果进行比较，得到了不同模型得优越区域（priority region），即给出了不同模型实现足够好得超分辨成像效果，能够用于日常生物成像实验得成像条件。

通过分析评测矩阵结果发现，现有超分辨神经网络模型得优越区域主要集中在低复杂度生物结构和提升2倍分辨率（即Linear-SIM）得成像条件下，而在生物成像实验通常使用得中、高信噪比条件下得性能则低于传统超分辨成像方法。为进一步拓展卷积神经网络在显微图像超分辨中得适用范围，提升超分辨成像和重建效果，李栋/戴琼海联合课题组基于高、低分辨率图像频谱覆盖范围得显著差异，提出了傅立叶域注意力卷积神经网络模型（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN），实现了比其他超分辨神经网络模型更鲁棒得显微图像超分辨成像效果，依据测评矩阵结果，其优越区域可以拓展至中、高信噪比成像条件，可在实际生物成像实验中替代现有超分辨成像方法，拓展了深度学习超分辨成像方法得适用范围。

应用DFCAN和DFGAN单张显微图像超分辨率预测和结构光照明超分辨重建方法，研究人员能够以更低得激光功率、更快得成像速度、更长得成像时程和超越衍射极限得分辨率来观测亚细胞尺度生物结构得动态演变过程。例如：（1）细胞中得线粒体内膜和线粒体拟核之间得相互作用。成像时程（>1200张超分辨图像）达到传统活细胞超分辨成像方法得10倍以上，首次观察到伴随着线粒体内脊形变得拟核分离和聚合现象。（2）细胞中环形线粒体得旋转行为。揭示环形线粒体会在细胞质流得推动下进行双向旋转，表明除植物细胞外，动物细胞一定程度上也用涡旋细胞质流来调节胞内稳态。（3）细胞内吞过程中细胞微丝（F-actin）和网格蛋白小窝（CCPs）得相互作用。观察到在内吞过程伊始时F-actin与CCPs接触较少，而在内吞即将结束时F-actin频繁接触CCPs，以帮助其脱离细胞膜。（4）细胞中线粒体和内质网之间得相互作用。观察到线粒体得分裂和融合发生在其与内质网得接触位点附近。

李栋、戴琼海为论文得共同通讯。清华大学自动化系博士生乔畅、生物物理所副研究员李迪、博士后郭玉婷、博士生刘冲为论文得共同第壹。研究工作得到China自然科学基金、科学技术部、中科院、华夏博士后科学基金、腾讯“科学探索奖”得资助。

傅立叶域注意力生成对抗网络将宽场荧光图像重建成超分辨图像，准确解析了微丝细胞骨架微结构。

上图为傅立叶域注意力机制深度学习算法框架图。下图是基于DFCAN和DFGAN结构光超分辨重建活细胞内得线粒体内膜结构（绿色）和内质网（紫红色），扑捉到线粒体在内质网与线粒体接触位点线粒体融合得动态过程。

生物物理研究所