自我評估與心得感想

在這次的專題研究中，我主要負責CLIP模型與LLAMA的設計。研究的核心是希望透過跨模態對比學習，將「白血球影像特徵」與「細胞類別文字描述」對齊於共享語義空間，藉此提升分類效能。同時，我們也結合 LLaMA，使系統不僅能完成分類，還能輸出臨床解釋性的診斷描述，協助資淺醫檢師在分類的同時理解診斷邏斷。

在研究過程中，我們面臨了許多挑戰。首先是資料不足的問題，部分稀有白血球類別樣本極少，導致模型難以有效學習。而為了解決這個問題，我們引入 Diffusion-GAN 的技術，生成與真實影像相近的白血球影像，來補足稀有白血球的影像。然而在實驗過程中，我們遭遇了訓練不穩定、程式崩潰、判別器過度擬合等狀況，需要不斷調整訓練流程與模型參數，才能讓生成影像達到可用的品質。

在模型選擇上，我一開始採用了EfficientNetV2進行分類實驗，雖然在常見的6類白血球分類上表現不錯，但當任務擴展到14類白血球時，準確率並未達到我們的預期。為了突破這個瓶頸，我深入查閱相關文獻，並發現CLIP架構中的Vision Transformer (ViT) 具有更強大的特徵抽取與跨模態對齊能力，並在經過多次實驗與調整，我們最終成功將分類準確率提升至89%，不僅超越了具有專業認證的醫檢師水準，甚至優於現今市面上常見的白血球數位影像處理系統DI-60。

LLAMA的設計，主要負責將CLIP提取出的影像特徵，透過Text-as-Hub轉換成語義嵌入，再輸入LLaMA進行報告生成。為了讓輸出的描述更符合臨床需求，我設計了專屬的醫學提示詞，並透過 LoRA 輕量化微調，使模型能夠生成具專業性且條理清楚的診斷依據。這樣的設計不僅提升了系統的臨床可解釋性，也讓模型具備教育輔助價值，能幫助年資較淺的醫檢師理解模型的判斷依據。

完成研究後，我們有將成果參加第十四屆全國大專院校AI智動化設備創作獎，並榮獲第二名。能在全國性競賽中獲獎，對我而言是一個極大的肯定。這不僅證明我們的研究成果具備實用價值，也讓我學會如何將學術研究轉化為能被外界理解的應用方案。比賽過程中，與評審與業界專家的交流，讓我更加體會到醫療AI的落地應用前景，也更加堅定了我繼續投入此領域的決心。

在這次專題研究中，讓我感到最有收穫的並不是最終的成果，而是逐步理解模型特性、反覆驗證想法的過程。專題初期，我們並沒有預期會把 CLIP、LLaMA 與 Text-as-Hub 結合得如此深入；但隨著研究慢慢推展，我開始投入於跨模態模型如何同時理解白血球影像與文字描述這件事。當時的核心想法相當單純：只要能讓影像特徵與語意資訊在同一空間中對齊，分類表現必定能有所提升。也因此，我負責了整體 CLIP 訓練流程的設計與調整，從資料處理到模型架構修改，都必須不斷反覆確認與驗證。

真正具挑戰性的部分，是訓練過程中接連出現的各種不確定性。模型偶爾會突然崩潰、生成器與判別器互相牽制、loss一度停滯不動，甚至還遇過過度擬合導致結果失真。為了找出每個問題背後的原因，我花了大量時間調整參數、更改架構，這些經驗雖然耗時，也有些挫折，但卻讓我第一次真正理解「讓模型穩定」比「讓模型變強」更需要技術與耐心。

模型的分類表現也不是一路順利。我們曾遇到長時間無法突破的準確率瓶頸，怎麼調都不見起色。後來透過重新規劃資料分布、調整正負樣本策略，以及改善跨模態對齊方式，結果才突然有了明顯改善，最終達到 89% 的準確率。後續比對才發現，這個表現甚至高於一般醫檢師以及 DI-60 系統，對我們而言是相當意外也令人鼓舞的里程碑。

在完成 CLIP 之後，我們接著讓 LLaMA 承接影像的語意嵌入，使系統不只會分類，更能產生診斷式的文字說明。為了讓描述更貼近臨床語氣，我重新整理醫學術語並設計提示詞模板，再以 LoRA 進行微調。這讓模型能在輸出分類結果的同時，清楚說明它做出判斷的依據，對於初學者或資淺醫檢師而言，是很直接的學習輔助。我們也將成果送往全國性競賽，最後獲得第二名。對我而言，這份肯定比獎狀本身更具意義，因為它代表研究不只是停留在程式碼或論文中，而是能被他人理解並看見價值。

回顧整個專題，我重新認識了「訓練模型」這件事。它不是單純的超參數組合或技巧堆疊，而是一連串試驗、推敲與理解的累積。在一次次的調整與修正中，學到如何讓系統真正變得更成熟、更可靠。

在本次專題研究中，我從資料處理、模型訓練、生成式影像技術到語言模型的整合，完整體驗了一個醫療AI系統從構思、模型選擇、驗證到成果展示的完整過程。這項研究不僅加深我對深度學習與多模態模型的理解，也使我更深刻體會到，人工智慧在醫療領域應用時，必須兼具技術精確性與臨床實用性，否則即使模型效能再好，也無法真正被使用者採納或信任。

在研究初期，我們觀察到醫療設備在偏鄉醫療資源不足情況下的侷限性，因此希望透過多模態人工智慧技術，讓診斷輔助工具不再依賴昂貴儀器，而能以更平易近人的方式協助臨床人員。

我們的資料來源來自衛生福利部桃園醫院檢驗科，涵蓋14類白血球影像，但其中不乏樣本極低的罕見細胞，造成訓練時的資料不平衡問題。面對這項挑戰，我們採用了GAN進行資料增補，使每一類別樣本達到較均衡的數量，並以FID與CMMD評估生成的影像品質，同時邀請臨床專家進行盲測，結果顯示生成影像與真實影像極為接近，整個評估過程都非常嚴謹，這讓我親身體會到資料品質的重要性。

在模型設計方面，我們並未採用傳統CNN，而是選擇CLIP結合Text as Hub的概念，利用影像與語言共同學習的方式進行分類，並加入自訂 MLP 層以進行微調。實驗結果顯示我們的系統分類準確率達到89%，甚至超越三位具國家臨床認證的檢驗人員，這個結果讓我非常驚訝，也讓我重新思考AI不僅可以是輔助工具，甚至能成為臨床決策的重要參考依據。此外，我們也結合LLaMA生成敘述並進行語意可信度評估，使系統能夠針對分類結果去做解釋，這對臨床教學、資淺人員訓練都具有實際價值。

透過本研究，我重新認識到醫療 AI 的核心不僅在於追求高準確率，更必須同時兼具可靠性、可解釋性、實際落地性與倫理安全。在這項研究中，我的收穫不只成果本身，而是過程中逐步建立的問題分析能力與研究習慣。專題進行期間遇到的困難並非單一領域，而是涵蓋資料、模型、實驗規劃、溝通與驗證，這讓我重新理解研究不是線性流程，而是持續假設、修正與驗證的反覆循環。這段過程讓我學會在不確定性中保持判斷能力，也更明白投入研究時，耐心、紀錄、反思與反覆實驗的重要性。

在這次專題研究中，我完整經歷了一個醫療AI系統從資料整理、模型設計、生成式影像製作到多模態整合的整體流程。這段過程讓我深刻理解到，醫療人工智慧並不是只要模型分數等各類性能指標漂亮就好，而是必須同時兼顧臨床需求、資料品質與實際使用情境。只有在技術與臨床之間取得平衡，AI才可能真正被醫療人員採納並發揮價值。

研究一開始，我們注意到偏鄉醫療資源有限，而許多檢測設備如DI-60昂貴又需要專業技師操作，因此希望透過多模態AI方式提供更普及的輔助診斷工具。這個動機讓我更明白技術發展的目的應該是「解決真實問題」，而非純粹追求更高的指標。

本研究使用桃園醫院檢驗科的14類白血球影像，其中不乏樣本極少的罕見類別，造成訓練資料明顯不均衡。為了提升模型的穩定性，我們以 Diffusion-Projected GAN 補足稀少類別，並透過FID、CMMD等多項指標與臨床盲測多重驗證生成品質。當看到專家實際分辨不出生成與真實影像的差異時，我第一次真切感受到「資料品質」對整個AI系統的重要性，甚至遠大於模型結構本身。

在模型設計上，初期嘗試了EfficientNetV2 與Mobile ViT ，後期沒有沿用傳統的CNN，而是選擇採用CLIP並加入Text as Hub的概念，將影像特徵與文字描述共同作為分類依據。同時，我們以自訂MLP進行微調，使模型能更好地理解醫療語意。最終系統的分類表現達到89%，甚至超越臨床檢驗師的平均表現，這讓我重新思考AI在臨床中的角色，它不只是輔助工具，也可能成為醫療決策的重要參考。此外，我們利用LLaMA生成診斷敘述，並評估語意準確性，使模型不只會預測，也能「說明理由」，提升其在教學與臨床上的可用性。

整個研究中，我逐漸理解醫療AI的價值不只在於提高辨識率，更在於滿足「可靠性、可解釋性、可落地、具倫理性」等多層需求。這個專題帶給我的最大成長，不是模型跑得多好，而是我在面對資料混亂、模型不收斂、實驗設計反覆修改、與臨床人員溝通等挑戰時，累積出的研究思維與問題分析能力。我也更明白研究並不是直線前進，而是持續假設、驗證、修正的循環過程。

這段經驗讓我建立了在不確定環境中保持冷靜、耐心與紀錄習慣的能力，也更確信自己想在AI與醫療的交叉領域繼續深耕。

在這次專題研究中，我主要負責後端 API、資料庫設計，以及前後端系統整合，確保模型輸出能順利被系統接收並呈現給使用者。雖然模型訓練不是我主要的工作，但透過串接的過程，我對模型的輸入、輸出與運作方式有了更完整的理解，也因此對整個系統的架構與流程有更清楚的掌握。在這過程中，我逐漸理解醫療 AI 系統「落地應用」的重要性：再高的模型準確率，如果無法被臨床人員方便使用，也難以真正發揮價值。

在開發過程中，我主要著重於 App 與 Web 介面的前端設計與整合，確保檢驗人員操作流程直覺、順暢，並能即時上傳與記錄填寫資料。雖然在前端 UI 的設計過程中遇到不少挑戰，例如程式 debug、資料傳遞異常，以及 API 與模型串接的問題，但透過查找資料、反覆測試與調整，我逐漸掌握了系統整合與問題排查的技巧。這也讓我更熟練於 Flask API 的應用、Web 前端技術，以及整體系統的開發流程。

此外，我們透過系統收集到的影像資料，也可作為未來模型訓練的 dataset，持續精進模型效能，讓系統的準確率與穩定性不斷提升。最讓我印象深刻的是，我們有到醫院進行實際測試，看到系統真的能協助檢驗流程、對偏鄉資源不足的醫療單位可能有幫助時，讓我深刻體會到專題不只是課堂作業，而是具有真正應用價值的專案。透過這些實際操作，也讓我更理解資料收集、模型優化與系統落地的重要性，為後續改進提供了寶貴的參考。

整體而言，這次專題讓我在後端整合、前端介面設計、系統串接以及落地應用等方面都有了全面的體驗，也累積了大量實務經驗。我學會了如何在開發過程中保持細心與耐心，並理解到技術與使用者需求之間的平衡。這些經驗不僅提升了我的程式能力，也加深了我對醫療 AI 系統從設計、開發到落地應用流程的理解，為未來相關領域的研究與開發打下了扎實基礎。