在導入 LLM 與 Agent 開發流程時，團隊常面臨規格難以驗證、品質無法量化、以及回歸測試成本高等痛點。本分享將介紹如何在 AI Agent Coding 流程中結合 Langfuse 與 LLM-as-a-judge，將自然語言規格轉化為可執行的 evaluation，建立自動化的驗證與 feedback loop。你將學到如何使用 llm ai gateway、langfuse tracing、實作 evaluation & judge 流程、抽取 dataset，打造第一個可觀測、可量化的 AI 開發工作流，讓 Agent 系統開發更穩定、更可預測。

1. 用 impression 做 model/framework 選擇決策。使用新 model framework 可能增加 latency 與降低可用度

2. 從 observability 開始: bifrost + langfuse

3. observability 還不夠：Observability != Decision System

4. LLM-as-a-judge 的價值與限制

5. 從 observability 到 closed-loop feedback system

6. evaluation / dataset / regression / decision gate

7. 把 LLM framework 選擇，從 gambling 變成可驗證決策