生物醫(yī)學(xué)圖像分割與目標(biāo)檢測：UOLO
本文將介紹INESC TEC和波爾圖大學(xué)的Faculdade de Engenharia da Universidade做的UOLO-生物醫(yī)學(xué)圖像中的自動對象檢測和分割。這作為DLMIA 2018技術(shù)報告發(fā)布。本文提出了UOLO(上圖)，一種同時檢測和分割醫(yī)學(xué)圖像中感興趣結(jié)構(gòu)的新穎框架。
UOLO是用于同時檢測和分割醫(yī)學(xué)圖像中對象的網(wǎng)絡(luò)。利用注釋數(shù)據(jù)進行分割的優(yōu)點是即使使用少量圖像數(shù)據(jù)也可以保持較高的檢測性能。
解剖結(jié)構(gòu)的檢測和分割是一項醫(yī)學(xué)成像分析的核心任務(wù)，因為它可以勾畫出感興趣區(qū)域(ROI)的輪廓，地標(biāo)的創(chuàng)建以及功能的改進。一旦確定了ROI，對象分割就變得更加容易。
在分割方面，深度全卷積神經(jīng)網(wǎng)絡(luò)在各種圖像和問題上均達(dá)到了最高性能。UNet的優(yōu)勢在于其自動編碼結(jié)構(gòu)，因此可以使用更少的訓(xùn)練數(shù)據(jù)進行更強大的分析。
檢測模型是一種使用具有大量自然圖像數(shù)據(jù)集的預(yù)訓(xùn)練網(wǎng)絡(luò)作為檢測模塊的特征提取器的方法，例如Faster R-CNN和YOLOv2。在YOLOv2中，直接使用了預(yù)訓(xùn)練權(quán)重的每個區(qū)域激活預(yù)測ROI的坐標(biāo)和標(biāo)簽。
Mask-R CNN是一個結(jié)合了檢測和細(xì)分模型的類似網(wǎng)絡(luò)。在這種架構(gòu)中，分割模塊和檢測模塊是分開的。因此，分割部分僅負(fù)責(zé)掩模的預(yù)測，并且掩模由檢測模塊按類別標(biāo)記。不管其高性能如何，該模型在醫(yī)學(xué)圖像分析問題中的使用都受到限制。它不適用于醫(yī)療應(yīng)用，因為它需要在像素級別注釋大量數(shù)據(jù)。
UOLO是結(jié)合了細(xì)分模塊UNet和對象檢測模塊YOLOv2的模型。這個想法的背景是，在UNet的解碼器層中學(xué)習(xí)的抽象包含多尺度信息，該信息不僅對對象的分割有用，而且對對象的檢測也有用。UOLO的主要優(yōu)點之一是利用少量的訓(xùn)練數(shù)據(jù)，利用檢測和分段模塊來實現(xiàn)可靠而有效的預(yù)測。
1.對象分割模塊
在UOLO中，改進了U-Net網(wǎng)絡(luò)以進行對象分割;在每個卷積層之后添加批處理歸一化，并用跨步卷積層替換池化層。UNet的損失函數(shù)使用聯(lián)合軟交集(IoU)計算地面真值掩碼和預(yù)測掩碼之間的損失。
2.物體檢測模塊
對于對象檢測，UOLO利用YOLOv2的思想來實現(xiàn)兩個目標(biāo)。
(1)從圖像中提取特征(F_YOLO)
(2)特征解釋塊，可預(yù)測目標(biāo)對象的標(biāo)簽和邊界框(D_YOLO)
在UOLO中，分割模塊成為承擔(dān)F_YOLO角色的特征提取模塊，F(xiàn)_YOLO是特征解釋塊D_YOLO的輸入。
還學(xué)會了YOLOv2優(yōu)化損失函數(shù)：λ1調(diào)整中心位置的誤差，λ2調(diào)整錯誤的尺寸(即高度和寬度)，λ3調(diào)整錯誤的盒子存在預(yù)測，λ4調(diào)整對象的錯誤分類。
3.聯(lián)合目標(biāo)檢測與分割
UOLO框架，嵌套的U-Net負(fù)責(zé)基于YOLOv2的檢測器的分割和特征提取
UOLO的損失計算方案
UOLO框架同時實現(xiàn)對象檢測和分段，算法1中顯示了UOLO的行為。關(guān)于UOLO的有趣之處在于，與Mask R-CNN等不同，如圖3所示，分段模塊本身成為一個特征提取模塊，它充當(dāng)對象檢測(F_ YOLO)的角色，并且是特征解釋模塊(D_ YOLO)的輸入。
UOLO(M_ U-Net)的分割模塊獲取一對RGB和地面真實圖像，并通過最小化損失函數(shù)(L_ U-Net)訓(xùn)練分割。
中號_U-Net的是通過連接的瓶頸(最后編碼層)和下采樣解碼地圖來獲得張量獲得。從每個層的張量輸出F _YOLO(圖3張量，16 * 16 * 1672)和特征解釋模塊D _YOLO(圖3張量，16 * 16 * 2 * 7)中獲取輸出，并優(yōu)化損失函數(shù)( L _YOLO)。
特征解釋模塊(D _YOLO)和分割模塊(M _U-Net)組合形成M _UOLO，這是一個通過最小化相應(yīng)損失函數(shù)的添加而優(yōu)化的單個模型。
4.實驗結(jié)果
下圖和兩個表顯示了用UOLO學(xué)習(xí)的抽象在解決問題方面非常有效：第一個表顯示了與最新方法的比較，第二個表顯示了用于OD檢測的UOLO的結(jié)果和分割和FV檢測。下圖顯示了使用UOLO時復(fù)雜檢測和分段預(yù)測的兩個示例.UOLO在Messidor數(shù)據(jù)集上訓(xùn)練。
下圖顯示了Messidor圖像上UOLO的結(jié)果。綠色曲線：分段光盤(OD)，綠色和藍(lán)色框：分別表示預(yù)測的OD和FV位置;黑色曲線：地面真相OD分割;黑點和藍(lán)點：分別是地面真相OD和FV位置。每個框旁邊顯示對象檢測置信度。還顯示了IoU(聯(lián)合上的交點)和歸一化距離(D)值。
復(fù)雜檢測和分段情況下的兩個預(yù)測示例
OD檢測，分割和FV檢測的最新技術(shù)
在檢測和分割任務(wù)方面，UOLO的性能均等于或優(yōu)于現(xiàn)有的領(lǐng)先方法(在Messidor上為IoU 0.88±0.09)。因此，表明在分割模塊中學(xué)習(xí)到的抽象不僅可以有效地解決分割任務(wù)中的問題，而且還可以有效地解決對象檢測任務(wù)中的問題。
UOLO在視盤(OD)檢測和分割以及中央凹(FV)檢測上的性能。n：用于檢測和分割的訓(xùn)練圖像的數(shù)量
此外，當(dāng)使用少量逐像素批注的圖像時，UOLO十分強大，同時保持了分割和檢測性能;通過將Messidor數(shù)據(jù)集中的帶注釋圖像的數(shù)量從680個減少到100個帶注釋圖像，減少了15%，并仍然保持分割和檢測性能(如表中所示)，從而訓(xùn)練了UOLO。分割和檢測性能沒有改變。這意味著UOLO不需要大量的逐個像素注釋，從而有助于其在醫(yī)療領(lǐng)域的應(yīng)用，因為在這些領(lǐng)域中獲取這些注釋可能會非常昂貴。
本文轉(zhuǎn)載 ??小白遇見AI?? ，作者：小煩
