探索國泰如何微調開源小型語言模型（SLM），與閉源 LLM API 比較成本效益，用於銀行 APP 智慧搜尋功能——在準確度與 Claude Sonnet 3.7 差距僅 6% 的前提下，將單次推論成本降低 380 倍。

我們採用雙軌實驗策略，比較專用型模型（單一場景微調）與通用型模型（多任務微調，涵蓋分類、金融問答與考題），針對 7 款 3B 至 20B 參數的開源模型，系統性測試 prompt 複雜度、RAG 整合、輸出格式與資料集配比等變因。實驗揭示多項發現：微調模型對 prompt 變化的敏感度遠低於 API 模型；同時驗證了「資料品質 > 資料量 > 模型大小」的核心原則，以及邏輯推理能力難以透過標準微調習得的限制。

在成本面，我們提供自建 GPU 與 閉源模型 API 在不同日請求量情境下的完整比較，算出損益平衡點。我們將整個流程萃取為可複用的四階段微調 SOP——從實驗定義、資料準備、實驗設計到訓練評估——為評估 SLM 導入金融合規場景的團隊提供實戰指南。無論你正在優化 LLM 推論成本，或為敏感業務場景打造專屬模型，本場次都能提供可立即應用的策略與經驗。