元智大學資訊管理學系 · 第 31 屆 · ZQ

基於深度學習磁振血管攝影以偵測與分類 顱內血管狹窄之相關性

From segmentation masks to vessel geometry: building a reproducible 3D MRA analysis pipeline.
從血管分割到幾何量測,建立可重現的 3D MRA 分析流程。

指導老師
詹前隆 教授
專題單位
校內專題｜1142 學期
1121705 顧恩妍
1121743 許顥薰
3D TOF-MRA Vessel Segmentation Geometry Measurement Demo
220
Total Cases
0.8801
3D Baseline Dice
0.9295
Geometry Demo Dice
Project Overview

專題概覽

本專題以 3D TOF-MRA 腦血管影像為研究資料,目標是建立可重現的顱內血管 segmentation pipeline, 並透過 controlled ablation analysis 比較不同輸入表徵與後處理策略,最後以 patch-level geometry demo 驗證 segmentation output 可銜接 downstream vessel geometry measurement。

Pipeline Evolution

前期以 2D U-Net 建立 segmentation 訓練流程,後續正式主線轉至 3D U-Net, 以原始正規化 MRA 影像作為穩定 baseline,完成完整的 2D → 3D 演進。

Controlled Ablation

系統性比較 Frangi-only replacement、Original + Frangi 2-channel,以及 validation-selected threshold-based post-processing,釐清哪些方法值得保留,哪些不適合作為主線。

Downstream Potential

透過 skeletonization、distance transform 與 local diameter visualization, 展示 segmentation output 可作為後續 vessel geometry measurement 的中間結果。

Research Motivation

研究動機

顱內血管狹窄分析需要可靠的血管 segmentation 作為前置步驟,但 TOF-MRA 影像中血管細小、彎曲、分支複雜, 視覺上看似合理的前處理也不一定能提升 deep learning segmentation。

Why Segmentation Matters

從血管分割到臨床下游分析

要進行 stenosis candidate analysis,必須先取得可靠的 vessel segmentation mask、centerline 與 local diameter 等中間結果。任何後續的狹窄定位、嚴重度評估,都建立在這些幾何量化基礎之上。

Why Controlled Ablation

避免直觀方法的過度信賴

Frangi vesselness、histogram standardization、CLAHE 等前處理在視覺上常被認為「應該」有幫助, 但在 deep learning segmentation 中未必穩定提升。本研究選擇透過 controlled ablation analysis 檢驗方法,而不是只追求單一最高分數。

Research Workflow

整體研究流程

從 2D baseline、3D baseline、Frangi ablation、2-channel、post-processing, 到 geometry demo 與 v2 future protocol 的七階段研究路徑。

整體研究流程示意圖,呈現 2D baseline、3D baseline、Frangi ablation、2-channel、post-processing、geometry demo 至 v2 protocol 的七階段研究路徑。
圖 01｜整體研究流程由 2D baseline、3D baseline、Frangi ablation、2-channel、post-processing、geometry demo,到 v2 protocol。
1

2D Baseline

建立前期 segmentation pipeline,完成 image-label index、DataLoader 與訓練流程。

2

3D Baseline

3D U-Net 以原始正規化 MRA 為輸入,作為 v1 最穩定參考。

3

Frangi Ablation

測試 Frangi-only 是否可取代 original MRA。

4

2-channel

Original + Frangi 雙通道 early fusion 探索。

5

Post-processing

validation-selected threshold 與 min_size,固定後評估 test。

6

Geometry Demo

skeletonization → distance transform → local diameter。

7

v2 Protocol

200 epochs、histogram/CLAHE 輔助、full-volume pipeline。

Preliminary · 2D Pipeline

2D 前期探索

2D 階段並非最終主線,而是建立後續 3D pipeline 所需的訓練流程、資料介面與初步前處理直覺。

2D Dataset 與 DataLoader 流程示意,呈現 image-label index、preprocessing、Dataset、DataLoader 之間的關聯。
圖 02｜2D pipeline 由 image-label index、2D preprocessing、Dataset 與 DataLoader 組成。

2D 階段的角色與輸出

本階段以 raw NIfTI 出發,將 220 cases 轉為 2D slice-level 訓練資料,共 train 17,117 / val 2,511 / test 4,809 slices。 Input shape 為 1 × 256 × 256,batch shape 為 [8, 1, 256, 256], loss 為 BCE + Dice,LR 0.001,batch size 8,訓練 15 epochs。

What we tested2D U-Net baseline、Gamma09 單變因消融、CLAHE + Gaussian Blur 影像增強 prototype。
What we foundBaseline Test Dice 0.8441;Gamma09 Δ Dice −0.000151,未形成穩定改善;CLAHE prototype 與 formal baseline 設定不同(50 epochs、DiceLoss、batch 4),無法直接公平比較。
What it means2D 階段的價值在於建立完整 pipeline 與研究動機,而非最終結果;為後續 3D 主線與前處理研究奠定基礎。
表 1｜2D 階段實驗結果摘要(formal baseline / Gamma09 / enhancement prototype)
Experiment前處理核心EpochsBest Val DiceTest DiceTest IoUFinding
2D BaselineNormalization only150.83600.84410.7445建立初始 benchmark
Gamma09Gamma γ = 0.9150.8366610.8439490.744259改善幅度不穩定 (Δ Dice −0.000151)
Enhancement PrototypeCLAHE + Gaussian Blur20 + 30 = 500.9119——可學習性佳,但與 baseline 不宜直接橫向比較
Note · 2D 階段的 CLAHE + Gaussian Blur prototype 與 formal baseline 在 data entry point、 training unit、loss design、evaluation depth 上均不同,因此其驗證指標僅作為「前處理可能值得進一步研究」的動機, 不可作為與 formal baseline 的等價比較。
Dataset Preparation

3D 資料集準備

以統一資料入口 (dataset_index_3d) 進行 case-level 切分,固定 train / validation / test, 避免 test leakage,確保所有後續實驗於相同分割設定下比較。

220
Total cases
154
Train
22
Validation
44
Test
3D 資料集建立與 image-label 配對檢查,顯示 220 cases 的切分與資料完整性。
圖 03｜3D dataset 共 220 cases,train / validation / test 分別為 154 / 22 / 44,image-only 與 label-only 皆為 0。

統一資料入口與固定切分

以 dataset_index_3d.csv 作為所有 3D 實驗的統一資料入口,確保不同模型在「同一份資料切分」下進行比較。 Train / Validation / Test 三集合於整個研究中固定不變,避免實驗間因切分差異造成的不公平比較。

3D 訓練 patch size 為 128 × 192 × 96,batch size 為 1。所有 case 皆完成 image / label 配對檢查, 無 image-only 或 label-only 缺漏。

表 2｜Dataset split summary
SplitCasesPurpose
Train154Model training
Validation22Checkpoint selection / post-processing parameter selection
Test44Final evaluation (frozen)
3D Baseline Model

3D U-Net Baseline

以 original normalized MRA 為輸入的 3D U-Net,作為本研究 v1 階段最穩定的比較基準, 所有後續 ablation 皆以此為對照。

Model Setting

v1 Baseline 設定

  • Model: 3D U-Net (in_channels = 1, out_channels = 1)
  • Input: Original normalized MRA patch
  • Patch size: 128 × 192 × 96(可被下採樣整除,並節省 GPU memory)
  • Loss: BCEWithLogitsLoss
  • Optimizer: Adam,Batch size: 1
  • Threshold: 0.5,Training epochs: 15,Best epoch: 5
  • Best Val Loss: 0.013066
Results · 3D Baseline

驗證與測試指標

0.8588
Best Val Dice
0.7585
Best Val IoU
0.8801
Test Dice (mean)
0.7919
Test IoU (mean)

Test Loss 0.0101 ± 0.0036｜Test Dice ± 0.0675｜Test IoU ± 0.1007。 正式 test 使用 best validation checkpoint。

3D baseline 的訓練曲線,顯示 training loss、validation loss 與 validation Dice 隨 epoch 變化。
圖 04｜3D U-Net baseline training curves,以 validation set 選出 best checkpoint。
3D baseline 預測結果視覺化,顯示原始影像、ground truth 與預測 mask 對比。
圖 05｜Baseline 預測在主要血管區域與 ground truth 高度一致。
Methodology Note · 正式 test 評估皆以「best validation checkpoint」為準,而非 final epoch, 以避免 over-fitting 對最終指標造成偏誤。Baseline 在本研究中扮演 v1 最穩定參考, 並非聲明達成臨床診斷能力。
Ablation · Frangi-only

Frangi 消融分析

直接以 Frangi-enhanced image 取代 original MRA 作為唯一輸入,檢驗 vesselness 強化是否足以 作為 deep learning segmentation 的替代輸入。

What we testedFrangi-only 取代 original MRA 作為唯一輸入,其餘設定與 baseline 一致。
What we foundTest Dice 0.8375、Test IoU 0.7219,均低於 baseline (Δ Dice −0.0426)。Per-case 44 個 test 中:baseline 較佳 33、Frangi 較佳 7、相近 4。
What it meansFrangi-enhanced image 不適合直接取代 original MRA;vesselness 在強化部分結構的同時,也可能壓縮原始 intensity context。
Original MRA、Frangi-enhanced image 與 ground truth label 三者並列視覺化。
圖 06｜Original / Frangi / Label 並列視覺化,Frangi 強化血管樣結構但有資訊壓縮代價。

Per-case Analysis (44 test cases)

33
Baseline better
7
Frangi better
4
Similar

在 case-by-case 層級上,Frangi 雖在少數案例帶來幫助,但整體無法穩定超越 baseline。 此為帶有研究價值的 negative result:它釐清了「視覺上看似合理的前處理,不一定可直接替代原始輸入」這項重要邊界條件。

表 4｜Baseline vs Frangi per-case 摘要
CategoryCasesInterpretation
Baseline better33Original MRA baseline 更穩定
Frangi better7Frangi 在有限 case 有助益
Similar4表現相近
Baseline 與 Frangi 模型 per-case 比較圖表,以條形或散點呈現勝負分布。
圖 07｜Per-case Baseline vs Frangi 分析,baseline 整體較穩定。
Baseline 與 Frangi-only 預測在不同 case 上的並列視覺化。
圖 08｜選定 case 的 Baseline vs Frangi side-by-side 視覺化。
Ablation · Original + Frangi 2-channel

雙通道輸入分析

將 Frangi 作為「輔助通道」而非「替代輸入」,以 Channel 0 = original MRA、Channel 1 = Frangi 的形式進行 simple early fusion。

What we tested2-channel input:Channel 0 為 original normalized MRA,Channel 1 為 Frangi-enhanced patch,其餘設定與 baseline 一致。
What we foundTest Dice 0.8659、Test IoU 0.7809。相較 Frangi-only Δ Dice +0.0285;相較 baseline Δ Dice −0.0142。Per-case winner counts:2-channel 24、baseline 11、Frangi-only 9。
What it means2-channel 優於 Frangi-only,具 case-level potential,但 simple early fusion 仍未穩定超越 baseline。
Most Stable

3D Baseline

0.8801

Original MRA · 目前 v1 最穩定參考。Per-case 大多數情況下保持優勢。

Case-level Potential

2-channel

0.8659

Original + Frangi · 個案層級有潛力,但 simple early fusion 不穩定。

Not Replacement

Frangi-only

0.8375

Frangi image only · 不建議作為 original MRA 之直接替代輸入。

表 3｜3D 三模型比較
ModelInputTest DiceTest IoUInterpretation
3D baselineOriginal MRA0.880087 ± 0.0675120.791906 ± 0.100717Most stable v1 reference
Frangi-onlyFrangi image0.837452 ± 0.0358760.721923 ± 0.050740Not suitable as replacement
Original + Frangi 2-channelOriginal + Frangi0.8659110.780948Case-level potential, unstable fusion
2-channel 輸入 sanity check,呈現 Channel 0 與 Channel 1 的內容差異。
圖 09｜Original + Frangi 2-channel input sanity check。
2-channel 訓練曲線,顯示 training 與 validation 指標的演進。
圖 10｜2-channel training curves:training 持續改善,validation 有波動。
Baseline、Frangi-only、2-channel 三模型 Dice / IoU 比較條形圖。
圖 11｜三模型整體指標比較。
三模型在選定 case 上的預測 side-by-side 視覺化。
圖 12｜選定 case 的三模型 side-by-side 視覺化。
Conclusion · Frangi-only replacement: not recommended. Frangi as auxiliary channel: case-level potential but unstable in simple early fusion. Best v1 reference remains the original MRA baseline.
Post-processing Analysis

後處理消融分析

採用 validation-selected threshold-based post-processing:先於 validation set 選擇 threshold 與 min_size,再固定於 test set 評估,避免 test leakage。

Selection Protocol

Validation-controlled 篩選

  • 第一步:於 validation set 進行 parameter sweep
    (threshold = 0.30 ~ 0.60、min_size ∈ {0, 10, 30, 50, 100, 200}、connectivity = 1)。
  • 第二步:固定最佳組合 threshold = 0.45、min_size = 0。
  • 第三步:套用至 test set 進行最終評估。
  • 避免任何 test leakage。

由於選出的 min_size = 0,實際上僅將 threshold 從 0.5 降至 0.45, 未實質執行小元件移除。

Outcome

整體接近中性

−0.000167
Δ Dice
+0.000147
Δ IoU
24 / 20
Improved / Worsened

Simple threshold-based post-processing 在 test set 上未形成穩定提升, 因此不作為正式提升方法,但仍具消融分析價值。

表 5｜Raw vs Postprocessed 比較
OutputDiceIoUFinding
Raw baseline0.880102 ± 0.0675400.791934 ± 0.100749Baseline output
Postprocessed0.879935 ± 0.0704120.792081 ± 0.103367Near-neutral
Δ−0.000167+0.000147未形成穩定提升
Post-processing 在 validation 與 test 上的指標摘要,顯示整體接近中性。
圖 13｜Validation / Test 後處理結果摘要。
Raw 預測與 postprocessed 預測的視覺化對比。
圖 14｜Raw vs Postprocessed prediction 視覺化。
Highlight · Geometry Measurement Demo

幾何量測展示

由 baseline prediction mask 出發,串接 skeletonization、distance transform 與 local diameter visualization,展示 segmentation output 銜接後續血管幾何量測的可行性。

計算定義 · 於 skeleton points 上以 distance transform 取得 local radius, 並定義 local diameter = 2 × local radius,最終以顏色映射(diameter-colored skeleton) 呈現血管局部寬度分布。
Geometry demo combined report,呈現 prediction mask、skeleton centerline、distance transform 與 diameter-colored skeleton。
圖 15｜Geometry demo combined report,串聯 mask → skeleton → distance transform → local diameter。
2
Demo Cases
0.9295
Mean Dice
1.77 mm
Mean Local Diameter
表 6｜Geometry demo summary
CaseDiceIoUSkeleton PointsMean ØMedian Ø
IXI254-HH-1705-MRA_IXI-HH0.93040.869926581.81 mm1.60 mm
IXI104-HH-1450-MRA_IXI-HH0.92870.866929281.73 mm1.60 mm
Overall (mean)0.92950.86842793 avg1.77 mm1.60 mm
Scope · This is a patch-level feasibility demo, not a full-volume clinical stenosis diagnosis.
此為 patch-level feasibility demo,尚未代表 full-volume 臨床狹窄診斷。本區段目的在於展示 segmentation output 可作為後續 vessel geometry measurement 的中間結果,並為 v2 階段的 full-volume pipeline 提供方法學基礎。
Key Findings

主要發現

五項以正式語氣呈現的研究結論,作為 v1 階段的方法學總結與 v2 的設計依據。

01 Stable

Original MRA baseline is the most stable v1 reference.

Original MRA baseline 是目前 v1 最穩定模型,Test Dice 0.8801。

作為所有後續 ablation 與 v2 protocol 設計的基準參考。

02 Not Replacement

Frangi-only is not a reliable replacement.

Frangi-only 不適合直接取代 original MRA,Δ Dice −0.0426。

vesselness 強化部分結構的同時可能壓縮原始 intensity context。

03 Potential

2-channel input has case-level potential but unstable early fusion.

Original + Frangi 2-channel 具個案潛力,但 simple early fusion 尚不穩定。

後續可探索 gated fusion 或 attention-based fusion。

04 Neutral

Simple post-processing is near-neutral.

Validation-selected threshold-based post-processing 整體接近中性。

不作為正式提升方法,但具備消融分析價值。

05 Feasible

Segmentation can connect to geometry measurement.

baseline segmentation output 可銜接 skeletonization、distance transform 與 local diameter visualization。

為 v2 階段的 full-volume vessel geometry pipeline 提供方法基礎。

Research Limitations

研究邊界

以下說明本研究 v1 階段所遵守的方法學邊界,以及 v2 階段需延伸的方向。

  1. v1 訓練僅 15 epochs,屬探索性訓練長度,尚未達正式收斂。
  2. Baseline v1 採用 BCEWithLogitsLoss,後續可改 Dice+BCE 或 Dice+Focal。
  3. Frangi 2-channel 目前為 simple early fusion,尚未採用 gated fusion 或 attention fusion。
  4. Post-processing 僅測試 threshold 與 min_size,未涵蓋完整 morphology 或 connected-component 策略。
  5. Geometry demo 為 patch-level,不是 full-volume 結果。
  6. 尚未完成 full-volume sliding-window inference 與 patch stitching。
  7. 尚未建立 branch-wise diameter profile。
  8. 尚無 stenosis severity label,因此不能進行正式狹窄分類。
  9. Test set 不應回頭調參,v2 將維持 frozen test evaluation 原則。
Future Work · v2 Protocol

未來研究路徑

v2 不是推翻 v1,而是根據 v1 findings 的正式延伸。v1 已釐清哪些方法值得保留,哪些不應作為主線; v2 將以更嚴謹的 protocol 提升學術完整度。

Protocol Lock

  • 固定 train / validation / test split
  • 統一 preprocessing helper
  • 避免 raw full volume / patch-level 混淆

Preprocessing v2

  • Original normalization
  • Histogram standardization
  • Original + Histogram 2-channel
  • Original + CLAHE 2-channel

200-epoch Training

  • 所有正式模型訓練至 200 epochs
  • 儲存 best validation checkpoint
  • 不以 final epoch 作為 test result
  • Frozen test evaluation

Model Comparison

  • Dice / IoU 整體與 per-case
  • Winner counts 統計
  • Failure case 分析

Full-volume Pipeline

  • Sliding-window inference
  • Patch stitching
  • Full-volume post-processing
  • Full-volume skeletonization

Stenosis Candidate

  • Branch graph 建立
  • Diameter profile
  • Local narrowing candidate
  • Future classification 銜接
Design rationale · v2 protocol 的每一個階段都直接呼應 v1 findings:Stage 2 來自於前處理的初步動機; Stage 3 解決 v1 epoch 數不足的問題;Stage 5 將 patch-level demo 推進到 full-volume; Stage 6 才有條件討論 stenosis candidate 的下游分析。
表 7｜v2 Preprocessing Variants — 200-epoch controlled training 下的四個比較模型
v2 VariantChannel 設計研究問題
original_norm_v2Original normalization於嚴謹 200-epoch protocol 下重建正式 baseline
histogram_standardized_v2Histogram standardization檢查 histogram standardization 是否能提升 intensity consistency
original_histogram_2ch_v2Original + Histogram(2-channel)測試 original + histogram standardized 兩通道是否更穩定
original_clahe_2ch_v2Original + CLAHE(2-channel)測試 CLAHE 作為 auxiliary channel 是否有助於血管分割
References

參考文獻

本研究於 v1 階段所參考的主要文獻。

1
Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional networks for biomedical image segmentation. In Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015 (Lecture Notes in Computer Science, Vol. 9351, pp. 234–241). Springer.
2
Frangi, A. F., Niessen, W. J., Vincken, K. L., & Viergever, M. A. (1998). Multiscale vessel enhancement filtering. In Medical Image Computing and Computer-Assisted Intervention – MICCAI’98 (Lecture Notes in Computer Science, Vol. 1496, pp. 130–137). Springer.
3
Mou, L., Yan, Q., Lin, J., Zhao, Y., Liu, Y., Ma, S., Zhang, J., Lv, W., Zhou, T., Frangi, A. F., & Zhao, Y. (2024). COSTA: A multi-center TOF-MRA dataset and a style self-consistency network for cerebrovascular segmentation. IEEE Transactions on Medical Imaging.
4
Sun, X., Shi, L., Luo, Y., Yang, W., Li, H., Liang, P., Li, K., Mok, V. C. T., Chu, W. C. W., & Wang, D. (2015). Histogram-based normalization technique on human brain magnetic resonance images from different acquisitions. BioMedical Engineering OnLine, 14, 73.