跳到主要內容區塊

臺灣大學機械系電子報

科普園地

陳亮嘉教授 光學超解析技術

文、圖 李維耘同學、 陳亮嘉教授

 

    當我們使用望遠鏡觀察月亮,或者使用成像顯微鏡觀察細胞切片,會發現我們沒有辦法完全地看清楚月球或細胞表面的所有細節。若只依據幾何光學成像原理,我們並無法很好地解釋這個現象。但當我們不再單以「直線」前進來看待光的行進,而是以「波動」來理解,我們可以看到更多光學特性的出現。


    在我們釐清是甚麼原因造成成像模糊之前,我們必須先對光在鏡組中的傳播(Wave propagation)有些了解[1]。我們可以將成像系統簡單地看成由「物」(Object)、「瞳」(Pupil)、「像」(Image),三項所組成,物即是我們想觀測的待測物體;瞳可以理解為顯微鏡或放大鏡的鏡組(Lenses)孔徑,其包含入瞳(Entrance Pupil)及出瞳(Exit Pupil);像則是我們透過鏡組所觀測到的影像。這裡我們可以將整個觀測的過程視為以下流程,參考Fig. 1:
1.物受到照明而放出帶有物體表面資訊的光波。
2.入瞳接收物所發出的光波。
3.出瞳將光波聚焦於像面並成像。
Art editor Img

█  Fig. 1成像系統示意圖

 

    然而當物在受到照明時,受物本身的表面結構影響,物所發出的光會被分成各種空間頻率(Spatial Frequency)平面波的線性組合,其中大角度的高頻光包含物體的細節成分,而小角度的低頻光則包含物體的主結構成分。而此時當我們的入瞳尺寸具有限大小,便無法接受到角度過大的平面波,也就是帶有物體細節資訊的光,導致最後成像時我們無法清楚地看到觀測物的細節並出現模糊的視覺感。
    在幾何光學的觀點中,物和像的關係為點對點的線性映射關係,因此若只以幾何光學的角度看待成像,我們可以得到一個縮放及倒立後的「清楚」的像。然而實際上我們必須考慮到光波的繞射(Diffraction)。因繞射效應,所有的有限孔徑鏡片皆會有其聚焦極限,而我們將此稱為系統的繞射極限(Diffraction limit),並將此系統的點光源響應(Impulse Response)稱為點擴散函數(Point Spread Function, PSF)。點擴散函數的大小將決定兩個光點間可被系統解析的最小距離,如Fig. 2所示,瑞立判據(Rayleigh Criteria)[2]即為兩光點「恰能」被分辨的極限。

Art editor Img
█  Fig. 2繞射極限與解析能力

 

    有了對點擴散函數的認識,我們可以將被照明的物看成是無數個無限小的點光源,每一個點光源經過成像系統後,都會因點擴散函數而擴散,最後造成在成像面上相鄰點之間的振幅疊加,而此過程可被看作是物與點擴散函數的卷積(Convolution)。如Fig. 3所示,原本清晰的物體與點擴散函數卷積後,會得到模糊的影像。
Art editor Img

█  Fig. 3物、點擴散函數與像之間的卷積關係

 

    既然點擴散函數及繞射極限是成像系統解析能力的天生限制,是否代表我們就沒辦法看到具有更多細節的影像呢? 答案當然是否定的,目前已有許多的研究使用不同的方法突破光學的極限,經典方法如超解析螢光顯微術(Stimulated Emission Depletion, STED)[3]將焦點附近的螢光分子抑制,進而縮小光點,如Fig. 4所示;結構照明顯微術(Structure illumination microscopy, SIM)藉由調變照明圖案的空間頻率來與物光進行干涉,並藉由干涉條紋反推待測物的細微結構,如Fig. 5所示。
Art editor Img

█  Fig. 4STED超解析原理示意圖
Art editor Img

█  Fig. 5SIM超解析原理示意圖[4]

 

    現今人工智慧技術已被廣泛用於各領域科學研究,顯微術也不例外。目前已有許多的研究透過深度學習來推動超解析技術,例如針對取得的單張或多張影像進行像素級別的映射解析[5-7],或是一些研究利用深度學習來對影像頻譜(Spectrum)的高低頻組成分布來進行重構[8, 9],方法相當多元。然而回歸限制成像系統最根本的問題,光的繞射現象使得我們在成像面得到與點擴散函數進行卷積後的像。但若我們可以將成像系統的點擴散函數正確地表示出來,即代表我們可以通過反向的操作,也就是反卷積(Deconvolution)來回推未模糊的像。然而實際的成像系統相當複雜且包含許多不確定性,其中包含了繞射極限的分析、像差(Aberration)、大氣擾動及鏡片熱變形等等,因此對點擴散函數的建模需要建構龐大的參數空間,若使用傳統的最佳化方法將耗費非常大量的計算成本,此時深度學習便可以有效地幫助預測。深度學習在科學領域是一個跨世代的演算技術,然而人們在使用此技術時,時常忽略於解析問題本身的物理意義,導致即使得到可觀的成果,卻反倒無法合理地解釋成果帶來的意義,成了一個名符其實的黑盒子。而光學成像已是一個具備長足發展的研究領域,但許多理論仍是建立在種種假設之下,在我們真正使用深度學習來解決問題之前,必須更加「真實」地去分析光學成像的過程,並設法建立其模型,如此一來再結合深度學習,我們認為此技術將充滿前景。
    下圖所示為精密量測實驗室對一般光學共焦的生物細胞影像進行反卷積影像超解析處理的結果,由結果可以看出其影像品質有相當程度的提升,此進展可為未來生醫研究或製藥提供更多的影像資訊,可有效加速生醫技術的突破!Art editor Img

Art editor Img
█  反卷積影像超解析提升的結果 (鼠主微膠細胞: α-微管蛋白影像 (Mouse primary microglia cell: alpha-tubulin),原始影像取自 [10]).
 

參考資料

6. References

[1] J. W. Goodman, Introduction to Fourier Optics. Goodman. McGraw-Hill, 1968.
[2] L. Rayleigh, "XXXI. Investigations in optics, with special reference to the spectroscope," The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, vol. 8, no. 49, pp. 261-274, 1879.
[3] S. W. Hell and J. Wichmann, "Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy," Optics letters, vol. 19, no. 11, pp. 780-782, 1994.
[4] J. Valli, A. Garcia-Burgos, L. M. Rooney, B. V. d. M. e Oliveira, R. R. Duncan, and C. Rickman, "Seeing beyond the limit: A guide to choosing the right super-resolution microscopy technique," Journal of Biological Chemistry, vol. 297, no. 1, 2021.
[5] T. Liu et al., "Deep learning-based super-resolution in coherent imaging systems," Scientific reports, vol. 9, no. 1, pp. 1-13, 2019.
[6] E. Nehme, L. E. Weiss, T. Michaeli, and Y. Shechtman, "Deep-STORM: super-resolution single-molecule microscopy by deep learning," Optica, vol. 5, no. 4, pp. 458-464, 2018.
[7] C. Qiao et al., "Evaluation and development of deep neural networks for image super-resolution in optical microscopy," Nature Methods, vol. 18, no. 2, pp. 194-202, 2021.
[8] J. He, J. Li, Q. Yuan, H. Shen, and L. Zhang, "Spectral response function-guided deep optimization-driven network for spectral super-resolution," IEEE Transactions on Neural Networks and Learning Systems, 2021.
[9] S. Mei, R. Jiang, X. Li, and Q. Du, "Spatial and spectral joint super-resolution using convolutional neural network," IEEE Transactions on Geoscience and Remote Sensing, vol. 58, no. 7, pp. 4590-4603, 2020.
[10] CrestOptics. "Comparison of mouse primary microglia cell, alpha-tubulin." https://crestoptics.com/deepsim (accessed).


點閱人數網站計數器