ผู้เขียน: Umi4Life / Zekamashi(zekamashi@umi4.life)

local multimodal model จะช่วยลดการใช้ GPT/Codex vision ได้ไหม โดยไม่ทำให้ assistant ไม่น่าเชื่อถือ?

สรุป

ผมทดลองว่า local Gemma multimodal model ที่ serve ผ่าน LiteLLM จะทำหน้าที่เป็น image interpretation helper รอบแรกให้ Hermes/Sky Feather ได้แค่ไหน

เป้าหมายไม่ใช่การแทนที่ GPT-5.5/Codex vision ทั้งหมด แต่เป็นคำถามที่ใช้งานจริงมากกว่า:

ให้ Gemma จัดการคำอธิบายรูปภาพทั่วไปได้ไหม แล้วค่อย escalate รูปที่ไม่มั่นใจ มี text เยอะ หรือมีความเสี่ยงกลับไปหา GPT?

คำตอบคือ: ได้ แต่ต้องมี router ที่ conservative และ fail closed เท่านั้น

ใน benchmark 20 รูปแบบ clean run:

GPT-only baseline:     20 GPT/Codex vision calls
Gemma-first router:   20 Gemma calls + 12 GPT/Codex escalations
GPT calls avoided:     8 / 20 = 40%
Gemma empty outputs:   5 / 20 = 25%

Gemma มีประโยชน์สำหรับ visual triage ที่ความเสี่ยงต่ำ แต่ก็มีหลายเคสที่ output ที่มองเห็นได้ว่างเปล่า นั่นทำให้มันไม่ปลอดภัยพอจะเป็น vision backend เดี่ยว ๆ

เผยแพร่เมื่อ 2026-06-05 ที่ Umi4Life's Blog แก้ไขล่าสุดเมื่อ 2026-06-05