深度學習技術近來在眼科、皮膚科、放射科和病理科等醫學學科領域展現出了極大的應用前景，它可以為世界各地的患者提供更加精準、可用的高品質醫療服務。Google 近期也發表了一項研究成果，該成果顯示，卷積神經網路檢測淋巴結中的乳腺癌轉移準確率，可以媲美一名訓練有素的病理學家。
然而，目前為止，用複合光學顯微鏡直接觀察組織仍然是病理學家診斷疾病的主要手段，如何將微觀組織進行數位化展示，成了深度學習技術在病理學科大規模應用的關鍵挑戰。
4 月 16 日，在美國癌症研究協會年會（AACR）的一場演講，一篇題為《擴增實境顯微鏡實時自動檢測癌症（正在審查）》的論文介紹了一款「擴增實境顯微鏡」（ARM）平台原型，相信這款產品可以幫助加速深度學習技術在全球病理學領域的推廣應用。
該平台由一個經改良的光學顯微鏡組成，能對即時分析圖像並直接在用戶視野內顯示機器學習運算的分析結果。
值得一提的是，只需使用低成本、現成的元件，就可將這款擴增實境顯微鏡改造成世界各地醫院和診所常見的普通光學顯微鏡，而且無需全面升級數位系統就能分析組織。
現代計算元件和深度學習模型──比如在 TensorFlow 平台建構的模型，使這個擴增實境顯微鏡平台能執行大量預訓練模型。和使用傳統顯微鏡一樣，使用者透過目鏡觀察樣品，機器學習運算輸出的結果將即時投射到光路，疊加在樣本的原始圖像上，幫助觀察者快速定位和量化感興趣的特徵。而且，平台的計算和視覺反饋非常迅速──目前速度達 10 幀／秒，這意味著當使用者移動組織或放大倍數進一步觀察時，可獲得流暢無縫的視覺體驗。
▲ 左圖：擴增實境顯微鏡的原理概述。一台數位相機捕捉與用戶相同的視野（FoV），然後將影像傳送給一個附加的計算單元，該單元能執行即時推理的機器學習模型。隨後推理結果反饋到一客製的 AR 顯示螢幕，螢幕與目鏡內連，並將模型輸出的結果與標本顯示在同一平面。 右圖：該圖展示了平台原型改造成典型臨床級光學顯微鏡後的樣子。
理論上，擴增實境顯微鏡可提供各式各樣的視覺反饋，包括文字、箭頭、輪廓、熱圖和動畫，且可執行多種類型的機器學習運算以應對不同任務，比如對象檢測、量化和分類等。
為了展示擴增實境顯微鏡的功能，我們讓其執行兩種不同的癌症檢測運算：一種用於檢測淋巴結標本中的乳腺癌轉移，另一種用於檢測前列腺切除術標本的前列腺癌。這些運算可在 4-40x 的放大倍數下運作，並用綠色輪廓勾畫出檢測到的腫瘤區域。這些輪廓可幫助病理學家注意到感興趣的區域，而不至於遺漏外觀模糊的腫瘤細胞。
▲ 透過擴增實境顯微鏡觀察到的視圖。這些圖像展示了 4x、10x、20x 和 40x 放大倍數下的淋巴結標本。
雖然這兩個癌症檢測模型並非用擴增實境顯微鏡直接捕捉的影像訓練，但後者上的表現非常出色，無需額外訓練。我們相信，假如直接用擴增實境顯微鏡獲取的影像進一步訓練，這些運算的表現還將繼續提升。
最初都是用來自一種光學結構完全不同的完整標本掃描器的影像訓練，但在擴增實境顯微鏡平台的表現非常出色，無需額外再訓練。例如，淋巴結轉移檢測模型在擴增實境顯微鏡運算時，曲線面積達到 0.98，前列腺癌檢測模型的曲線面積達到 0.96，僅略低於 WSI 得到的結果。
我們相信，這款擴增實境顯微鏡將給全球衛生事業產生重大影響，尤其是在發展中國家的傳染病診斷方面──包括結核病和瘧疾等。此外，在即將採用數位病理工作流程的醫院，擴增實境顯微鏡也可以與數位工作流程結合使用。光學顯微鏡已在很多行業證明了其價值，但在病理學領域作用有限。我們相信擴增實境顯微鏡可以應用於醫療、生命科學研究和材料科學等眾多領域。我們很高興能繼續探索這款擴增實境顯微鏡，幫助加速機器學習技術在世界各地產生積極影響。
# 乳腺癌轉移準確率
# 淋巴結標本
https://technews.tw/2018/04/18/google-reality-microscope-for-cancer-detection/
Comentarios