สอนโฮสต์และรันโมเดล Typhoon Models บนเครื่องคอมของคุณเองด้วย LM Studio

ทุกวันนี้ทีม Typhoon กำลังสร้างโมเดลภาษาที่มีความสามารถและความแม่นยำสูง ในขณะเดียวกันก็มีขนาดเล็ก หลายๆ โมเดลของเราในปัจจุบัน เล็กพอที่คุณจะสามารถโหลดและรันบนเครื่องคอมของคุณเองได้เลย วันนี้เราเลยจะมาสอนใช้ LM Studio หนึ่งในโปรแกรมที่เรามองว่าใช้งานได้ง่ายมากๆ ในการโหลดและรันโมเดลที่มีเปิดใน Hugging Face

เราจะมาเรียนรู้วิธีการติดตั้ง LM Studio พร้อมแนะนำวิธีการเลืือกโมเดลให้เหมาะสมกับเครื่องคอมของคุณ และสาธิตการใช้โมเดลข้อความอย่าง Typhoon Translate และ Typhoon 2.1 Gemma พร้อมการประยุกต์หาท่าที่จะใช้ API เพื่อใช้งาน Typhoon OCR บนเครื่องอีกด้วย

ถ้าพร้อมแล้วมาเริ่มกันเลยค่ะ

LM Studio คืออะไร

LM Studio เป็นโปรแกรมฟรีสำหรับติดตั้งบนเครื่องคอมเพื่อใช้รัน open-source โมเดลบนเครื่อง

จุดเด่น

• 🖥️ มี GUI Interface ที่ใช้งานง่าย และหน้าแชทสไตล์ที่ทุกคนคุ้นเคย
• 📥 มีระบบค้นหาและโหลดโมเดลได้เลยง่ายๆ ในไม่กี่คลิก
• 🔌 สามารถทำให้คอมของคุณรัน API server ที่ใช้ได้กับโมเดลที่มี API ที่ compatible กับ OpenAI
• ⚙️ ปรับแต่งค่าการใช้งานได้ เช่น context length, GPU offloading, sampling parameters

ความต้องการพื้นฐานของเครื่องคอมที่จะใช้งาน

MacOS

• Chipset: Apple Silicon (M1, M2, M3, M4)
• OS: macOS 13.4 หรือใหม่กว่า (แนะนำ 14+)
• RAM: แนะนำที่ 16 GB (8 GB ก็ใช้ได้สำหรับโมเดลเล็กๆ)

⚠️ ไม่รองรับชิพ Intel

Windows

• CPU: AVX2 instruction set (x64)
• RAM: ขั้นต่ำ 16 GB

Linux

• OS: Ubuntu 20.04 หรือใหม่กว่า
• Architecture: x64

เริ่มต้นใช้งาน LM Studio

1️⃣ ดาวน์โหลดและติดตั้ง

ติดตั้งโปรแกรมได้ที่: https://lmstudio.ai/download

2️⃣ ดาวน์โหลดโมเดลเข้ามายัง LM Studio

ทำความเข้าใจนามสกุลไฟล์ของโมเดล

ก่อนเลือกดาวน์โหลด ใน LM Studio คุณจะเห็นออปชันที่สามารถค้นหาได้ทั้งไฟล์ GGUF และ MLX โดยที่เราได้สรุปความแตกต่างระหว่างสองไฟล์นี้ไว้ในตารางนี้ค่ะ

สรุปง่ายๆ คือ
GGUF เหมาะสำหรับแพลตฟอร์มส่วนใหญ่ และสำหรับโมเดล non-text
MLX เหมาะสำหรับโมเดล text ที่จะใช้บนอุปกรณ์ของ Apple

📥 วิธีดาวน์โหลดโมเดล

• โหลดตรงจาก LM Studio โดยไปยังแท็บ Discover เพื่อค้นหาและโหลดโมเดล

ตัวอย่าง: สามารถค้นหา "Typhoon Translate" ผ่าน Discover tab ได้เลย

• หรือโหลดจากลิงก์ภายนอก (เช่นจาก Hugging Face)
  

คุณสามารถหาโมเดลที่คุณสนใจได้ทาง Hugging Face ยกตัวอย่างเช่น ถ้าคุณสนใจ Typhoon OCR ก็จะพบกับออปชันให้เลือกโหลดอย่าง typhoon-ocr-7b และ typhoon-ocr-3b
ทั้งนี้สำหรับการรันบนเครื่อง โมเดลขนาด 3b น่าจะเหมาะสมกับเครื่องส่วนใหญ่ ซึ่งคุณสามารถโหลดไฟล์ GGUF ของโมเดลนี้ได้ที่นี่: https://huggingface.co/scb10x/typhoon-ocr-3b-gguf
ในหน้าโมเดล ให้กดเลือก 'Use this model' แล้วเลือก 'LM Studio' ถ้าหาไม่เจอ สามารถเข้าไปตั้งค่าให้เปิดรายชื่อ local apps ได้ที่ https://huggingface.co/settings/local-apps#local-apps

• หรือหากไม่ใช้การกดปุ่มดังกล่าว ก็สามารถกดดาวน์โหลดไฟล์ออกมาเป็นนามสกุลที่รองรับตามที่แนะนำไว้ข้างต้น และเข้ามากดเลือก import model บนแอป LM Studio ได้

4️⃣ ตั้งค่า System Prompt

• ไปที่ My Models > คลิก ⚙️ Settings ตรงโมเดล
• ตรงแท็ป Prompt คุณสามารถใส่ System prompt เข้าไปได้

ตัวอย่าง: You are a female AI assistant named Typhoon created by SCB 10X to be helpful, harmless, polite, and honest...

5️⃣ [ไม่บังคับ] ปรับค่า Inference Settings

คุณสามารถปรับแต่งค่า Parameters ในการทำ Inference ได้ เช่น

• Context length
• GPU offload
• Batch size, threads
• Sampling temperature/top-p

การตั้งค่าเหล่านี้ช่วยให้ได้สมดุลระหว่างความเร็ว การใช้หน่วยความจำ และคุณภาพของการตอบสนอง

เลือกขนาดของโมเดลที่เหมาะสม

โมเดล Typhoon มีหลายขนาด (เช่น 1B, 3B, 4B, 7B, 8B, 12B)
“B” = พันล้านพารามิเตอร์

จำนวนพารามิเตอร์ที่มากกว่ามักหมายถึงความสามารถในการประมวลผลและจัดการบริบทที่ดีขึ้น แต่ก็ต้องใช้หน่วยความจำและการประมวลผลที่มากขึ้นตามไปด้วย

แนวทางในการเลือก

• ขนาด 1–3B: เหมาะสำหรับการแปลข้อความสั้นๆ, OCR เบื้องต้น และการถาม–ตอบแบบครั้งเดียว ช่วยประมวลผลบนระบบที่มี RAM 8–16 GB ได้ดี
• ขนาด 4B–8B: สมดุลระหว่างคุณภาพและการใช้ทรัพยากร รองรับข้อความหลายภาษาและเอกสารยาวขึ้น แนะนำ RAM 16–32 GB
• ขนาด 12B: เหมาะสำหรับการสรุปข้อมูลที่มีความซับซ้อนขึ้น การสนทนาแบบหลายรอบ ต้องใช้ RAM 32 GB ขึ้นไป หรือ GPU ระดับเกมเมอร์

คำแนะนำ: เลือกโมเดลที่ขนาดเล็กที่สุดเท่าที่จะเหมาะสมกับคุณภาพของงานที่คุณต้องการ

📌 โมเดล Typhoon ขนาดเล็กที่เหมาะรันบนเครื่อง

ได้แก่

• Typhoon 2.1 Gemma: 4B, 12B
• Typhoon 2: 1B, 3B, 8B
• Typhoon OCR: 3B, 7B
• Typhoon Translate: 4B

💬 เริ่มต้นแชทกับ Text Model

สำหรับ text models อย่าง Typhoon 2.1 Gemma หรือ Typhoon Translate คุณสามารถแชทได้เลยผ่านทาง Interface โดย

1. ไปที่แท็บแชท
2. สร้างแชทใหม่
3. เลือกโมเดลที่คุณเคยโหลดไว้
4. แชทได้เลย

ตัวอย่าง:

เราเลือกแชทกับโมเดล Typhoon Translate ให้ช่วยแปลข้อความจากอังกฤษเป็นไทย

🖼️ ใช้งาน Typhoon OCR ผ่าน API บนเครื่อง

LM Studio's chat UI ยังไม่รองรับการอัปโหลดรูปภาพ และไม่รองรับการรัน Typhoon OCR แต่คุณสามารถใช้มันทำ local API ได้

สำหรับการรัน Typhoon OCR โปรแกรมที่เราแนะนำว่าเหมาะสมกว่าคือ vLLM ซึ่ง Tutorial จะตามมาในภายหลัง ทั้งนี้ LM Studio ก็สามารถทำ workaround ได้ผ่าน local API อย่างที่เล่าไว้

⚠️ อัปเดตสำคัญเกี่ยวกับการใช้งาน Typhoon OCR 3B (Vision Model) แบบ Local

อัปเดตวันที่ 15 ก.ค. 2568
จากการทดสอบเพิ่มเติมของเรา พบว่า โมเดลเวอร์ชัน quantized (.gguf) ของ Typhoon OCR 3B ที่ใช้งานใน LM Studio มีความแม่นยำลดลงอย่างมีนัยสำคัญเมื่อเทียบกับโมเดลต้นฉบับ

✅ คำแนะนำของเรา:

1. หลีกเลี่ยงการใช้โมเดล .gguf เวอร์ชันนี้สำหรับงาน OCR ในตอนนี้ เรากำลังพัฒนาและปรับปรุงกระบวนการ quantization และ alignment อยู่ เพื่อให้ได้โมเดลที่แม่นยำยิ่งขึ้นในอัปเดตครั้งถัดไป

2. ถ้าคุณต้องการรัน Typhoon OCR แบบ local ด้วยความแม่นยำที่ดีกว่า ในตอนนี้ เราแนะนำให้ใช้ Ollama เป็น backend แทน LM Studio

Ollama สามารถโฮสต์โมเดลแบบ local และให้ผลลัพธ์ OCR ที่แม่นยำกว่าเพราะใช้เวอร์ชัน unquantized หรือเวอร์ชันที่ optimized กว่า ติดตั้งและใช้งานง่าย รองรับ macOS, Windows และ Linux

สรุป

LM Studio ช่วยให้คุณใช้งานโมเดล AI ขั้นสูงแบบเฉพาะบุคคลได้อย่างง่ายดาย ไม่ต้องกังวลเรื่องความเป็นส่วนตัวและประหยัดทรัพยากร ไม่ว่าคุณจะต้องการแปลข้อความด้วย Typhoon Translate, สกัดข้อความจากรูปภาพด้วย Typhoon OCR หรือแชทกับโมเดลอื่นๆ ของ Typhoon คู่มือนี้จะช่วยให้คุณเริ่มต้นใช้งานได้อย่างรวดเร็ว

Appendix

เนื้อหาส่วนนี้เป็นคำแนะนำในการโหลดและใช้งาน OCR ผ่าน Localhost API ซึ่งคุณสามารถอ้างอิงได้ในอนาคตเมื่อเรามีโมเดล .gguf ที่แก้ปัญหาดังกล่าวในบทความแล้ว เรายังคงเก็บเนื้อหาส่วนนี้ไว้ให้คุณอ้างอิงได้ แต่เราไม่แนะนำให้คุณใช้ OCR model ผ่าน LM Studio ในตอนนี้ จนกว่าจะมีการอัปเดตใหม่

วิธีการใช้งาน:

1. โหลด Typhoon OCR 3B หรือ 7B .gguf ใน LM Studio

2. LM Studio’s API จะสามารถเรียกใช้งานได้ผ่าน endpoint: http://localhost:1234/v1

3. (สำหรับการใช้งานครั้งแรก) ติดตั้ง OpenAI Python package: pip install openai

4. เขียนสคริปต์ Python เพื่อทำงานกับ API คุณสามารถส่งรูปภาพที่เข้ารหัสเป็น base64 เป็นอินพุตผ่าน API ได้

นี่คือตัวอย่างโค้ด Python แบบใช้งานง่ายเบื้องต้น

เมื่อรันโค้ด LM Studio จะประมวลผลรูปภาพและส่งข้อความที่ดึงออกมาเป็นรูปแบบข้อความกลับมาใช้ภายในเครื่องของคุณทันที