ผู้เขียน: Umi4Life / Zekamashi(zekamashi@umi4.life)

local multimodal model จะช่วยลดการใช้ GPT/Codex vision ได้ไหม โดยไม่ทำให้ assistant ไม่น่าเชื่อถือ?

สรุป

ผมทดลองว่า local Gemma multimodal model ที่ serve ผ่าน LiteLLM จะทำหน้าที่เป็น image interpretation helper รอบแรกให้ Hermes/Sky Feather ได้แค่ไหน

เป้าหมายไม่ใช่การแทนที่ GPT-5.5/Codex vision ทั้งหมด แต่เป็นคำถามที่ใช้งานจริงมากกว่า:

ให้ Gemma จัดการคำอธิบายรูปภาพทั่วไปได้ไหม แล้วค่อย escalate รูปที่ไม่มั่นใจ มี text เยอะ หรือมีความเสี่ยงกลับไปหา GPT?

คำตอบคือ: ได้ แต่ต้องมี router ที่ conservative และ fail closed เท่านั้น

ใน benchmark 20 รูปแบบ clean run:

GPT-only baseline:     20 GPT/Codex vision calls
Gemma-first router:   20 Gemma calls + 12 GPT/Codex escalations
GPT calls avoided:     8 / 20 = 40%
Gemma empty outputs:   5 / 20 = 25%

Gemma มีประโยชน์สำหรับ visual triage ที่ความเสี่ยงต่ำ แต่ก็มีหลายเคสที่ output ที่มองเห็นได้ว่างเปล่า นั่นทำให้มันไม่ปลอดภัยพอจะเป็น vision backend เดี่ยว ๆ

เผยแพร่เมื่อ 2026-06-05 ที่ Umi4Life's Blog แก้ไขล่าสุดเมื่อ 2026-06-05

ผู้เขียน: Umi4Life / Zekamashi(zekamashi@umi4.life)

คำบรรยาย: เราแค่อยากเปิด Hermes Dashboard ให้เข้าจาก LAN ได้ แต่ดันไปสะกิด tech debt เก่าใน routing/auth stack จนต้องไล่แก้ปมทั้ง Traefik, Authelia OIDC, split DNS และ LiteLLM

งานนี้ไม่ได้ควรจะกลายเป็น incident ใหญ่เลย

เป้าหมายแรกเล็กมาก: เปิด Hermes Dashboard ให้ browser ใน LAN เข้าได้ เพื่อให้ Hermes Agent มี web control surface ที่ใช้งานง่ายขึ้น

แต่พอเริ่มแก้จริง มันลากปมเก่าใน homelab ออกมาทีละชั้น

เริ่มจาก dashboard bind อยู่แค่ localhost ต่อด้วย Traefik routing assumption, HTTPS forwarded header ที่ทำให้ OIDC redirect เพี้ยน, Authelia reject token exchange, LiteLLM container resolve hostname ของ LAN-only identity provider ไม่ได้ และสุดท้าย bug ที่เล็กแต่เจ็บมาก: GENERIC_USERINFO_ENDPOINT ดันชี้ไปที่ token endpoint

เผยแพร่เมื่อ 2026-06-03 ที่ Umi4Life's Blog แก้ไขล่าสุดเมื่อ 2026-06-03