TYPHOON Logo
TYPHOON
ฮาวทู: รันโมเดล Typhoon ใช้บนเครื่องเองไม่ต้องผ่านคลาวด์ ง่ายๆ ด้วย Ollama และ Web OpenUI

ฮาวทู: รันโมเดล Typhoon ใช้บนเครื่องเองไม่ต้องผ่านคลาวด์ ง่ายๆ ด้วย Ollama และ Web OpenUI

Tutorial
Ollama
Local Hosting

แนะนำวิธีใเลือก และวิธีใช้โมเดล Typhoon ขนาดเล็ก บน Local computer แบบ step by step

Oravee (Orn) Smithiphol

Oravee (Orn) Smithiphol

27 มีนาคม 2568

ฮาวทู: รันโมเดล Typhoon ใช้บนเครื่องเองไม่ต้องผ่านคลาวด์ ง่ายๆ ด้วย Ollama และ Web OpenUI

สารบัญ

โมเดลของ Typhoon ได้เปิดให้ใช้งานได้แล้วผ่านแพลตฟอร์ม Ollama ตอนที่เราประกาศออกไป หลายๆ คนมองว่านี่แหละ คือสิ่งที่รอคอย! แต่หลายคนก็อาจจะยังไม่เข้าใจว่าประโยชน์ของแพลตฟอร์มนี้คืออะไร และใช้งานยังไง

วันนี้เราเลยได้ทำบล็อกนี้ขึ้นเพื่อสอนการรันโมเดลภาษา Typhoon บนเครื่องของคุณ ว่ามันสามารถทำได้ง่ายมากๆ โดยไม่จำเป็นต้องพึ่งพาบริการคลาวด์เลย

ประโยชน์ของการรัน LLMs บนเครื่องโลคอล แทนที่จะใช้คลาวด์

ประโยชน์หลักๆ ได้แก่:

  • ประหยัดต้นทุน: ในหลายๆ เคส คอมพิวเตอร์โน้ตบุ๊กนั้นถือว่าเพียงพอแล้วสำหรับการใช้งานพื้นฐาน Typhoon เป็นโมเดล Open Source ที่ใช้งานฟรี โฮสเอง ใช้เองได้ ไม่ต้องเสียค่าใช้จ่าย
  • ควบคุมได้อย่างเต็มที่: ความยืดหยุ่นเต็มที่ในการปรับแต่งและปรับใช้โมเดล
  • ความเป็นส่วนตัว: การประมวลผลทั้งหมดเกิดขึ้นบนเครื่องของคุณเอง ไม่ได้ส่งข้อมูลออกไปภายนอก
  • การเข้าถึงแบบไม่สะดุด: ไม่ต้องพึ่งพาการเชื่อมต่ออินเทอร์เน็ตหรือบริการภายนอก ไม่ต้องห่วงเรื่องเซิร์ฟล่ม (ยกเว้นว่าทรัพยากรเครื่องของเราจะไม่พอต่อการใช้งานเอง)

เหมาะกับใคร:

  • นักพัฒนาที่มุ่งเน้นความเป็นส่วนตัว สำหรับแอปพลิเคชันที่ต้องมีการรักษาความลับหรือความเป็นส่วนตัว
  • นักวิจัย ที่ต้องการการใช้โมเดลอย่างไม่มีข้อจำกัด
  • องค์กร ที่รักษาความเป็นเจ้าของข้อมูลอย่างเคร่งครัด
  • นักเรียน เรียนรู้การประยุกต์ใช้ LLM ด้วยตนเอง

โมเดลของ Typhoon ที่เหมาะสำหรับการใช้งานบนเครื่องโลคอล

Typhoon เรามีโมเดลสองภาษาไทย-อังกฤษหลายรุ่นที่ปรับแต่งมาให้เหมาะสำหรับการใช้งานบนเครื่องคอมพิวเตอร์ของคุณ:

  • Typhoon2-1b-instruct: โมเดลเบาๆ พารามิเตอร์ 1 พันล้าน เหมาะสำหรับงานพื้นฐาน
  • Typhoon2-3b-instruct: โมเดลขนาดเล็ก 3 พันล้านพารามิเตอร์ ที่สมดุลระหว่างประสิทธิภาพและการใช้ทรัพยากร
  • Typhoon2-8b-instruct: โมเดลขนาดเล็กที่มีความสามารถมากขึ้น กับพารามิเตอร์ขนาด 8 พันล้าน
  • Typhoon2-t1-3b-research-preview: โมเดลด้านการให้เหตุผล ขนาด 3 พันล้านพารามิเตอร์

ทั้งหมดนี้สามารถเข้าถึงได้ผ่าน Ollama ซึ่งเป็นแพลตฟอร์มที่เราจะคุยกันต่อในบล็อกนี้
นอกจากนี้เรายังมีคอลเลกชันโมเดลอีกหลายตัว ทั้งที่ขนาดใหญ่ขึ้น และมีความสามารถเฉพาะทางแบบอื่นๆ ดูรายชื่อเต็มๆ ได้บน Hugging Face ของเรา

คำแนะนำในการเลือกโมเดลให้เหมาะกับทรัพยากรเครื่องของคุณ

เช็คก่อนโหลด: ฮาร์ดแวร์ของคุณ ว่าเหมาะจะรองรับโมเดลขนาดเท่าไหร่

  • Typhoon2-1b-instruct: RAM 8GB เป็นอย่างน้อย
  • Typhoon2-3b-instruct และ Typhoon2-t1-3b-research-preview: แนะนำ RAM ในช่วง 8GB-16GB
  • Typhoon2-8b-instruct: ต้องการ RAM ที่มากกว่า 16GB เป็นต้นไป

นอกจาก RAM แล้ว คำแนะนำอื่นๆ ได้แก่:

CPU:

  • ใช้โปรเซสเซอร์รุ่นใหม่ๆ เช่น Intel 11th Gen หรือ AMD Zen4
  • สำหรับผู้ใช้ macOS แนะนำ Apple Silicon (M1, M2, M3, M4 series) หรือใหม่กว่า ถ้ามีอัปเดต

GPU:

  • ไม่จำเป็นสำหรับโมเดลขนาดเล็ก
  • แต่ถ้ามี ก็จะยิ่งดี โดยเฉพาะถ้าคุณใช้โมเดลที่ใหญ่กว่า 3b เป็นต้นไป

Storage:

  • ควรมีพื้นที่ว่างบน Hard Disk อย่างน้อย 50 GB

เริ่มต้นรัน Typhoon ด้วย Ollama

Ollama logo

Ollama คืออะไร?

Ollama คือเครื่องมือโอเพนซอร์สที่เป็นที่นิยม ทำให้การรัน LLMs บนเครื่องของคุณเองทำได้ง่ายขึ้น

การติดตั้ง

  1. ดาวน์โหลดไฟล์การติดตั้งที่ หน้าดาวน์โหลด Ollama
  2. ติดตั้งตามระบบปฏิบัติการที่คุณใช้
  3. ตรวจสอบการติดตั้งด้วยคำสั่ง ollama --version

เริ่มต้นรันโมเดล Typhoon

  1. ค้นหาโมเดล Typhoon ที่ ollama.com/scb10x

  2. เลือกโมเดลที่คุณต้องการและรันด้วยคำสั่งที่ให้ไว้ เช่น: ollama run scb10x/llama3.1-typhoon2-8b-instruct

Ollama run script

โมเดลจะถูกดาวน์โหลดลงเครื่องของคุณในครั้งแรกที่ใช้งาน เมื่อดำเนินการเสร็จสิ้น คุณสามารถเริ่มโต้ตอบกับโมเดลได้โดยตรงผ่าน terminal

ตัวอย่าง: ขอให้โมเดลอธิบายเรื่อง quantum computing แบบเข้าใจง่ายเป็นภาษาไทย ก็สามารถพิมพ์คำสั่ง
อธิบายเรื่อง quantum computing ให้เข้าใจง่ายๆ

Result:
Ollama run script

ทำให้หน้าตาน่าใช้ขึ้นด้วย Open WebUI

ถ้าอินเทอร์เฟซ Terminal ไม่ค่อยสะดวกหรือน่าใช้สำหรับคุณ และอยากได้อินเทอร์เฟซแบบแชทที่เราคุ้นเคย

Using model with a chat interface

Open WebUI เป็นส่วนขยายโอเพนซอร์สที่เราแนะนำให้ติดตั้งและลองใช้ดู เพราะว่ามีหลายประโยชน์ เช่น:

  • อินเทอร์เฟซแชทสมัยใหม่
  • ความสามารถในการอัปโหลดไฟล์
  • การจัดการหลายโมเดล
  • User authentication

การติดตั้งและใช้ Open WebUI

1. ติดตั้ง Open WebUI

เปิด Terminal และป้อนคำสั่ง
pip install open-webui

หมายเหตุ: คุณต้องมี Python 3.11 ติดตั้งอยู่ก่อนรันคำสั่งนี้

2. รัน Open WebUI

หลังจากติดตั้งแล้ว รันคำสั่งต่อไปนี้เพื่อเริ่ม Open WebUI: open-webui serve
คุณจะต้องรันคำสั่งนี้ทุกครั้งที่เปิดเซสชัน terminal ใหม่

3. เข้าใช้ผ่านหน้าเว็บ

เปิดเบราว์เซอร์และไปที่: http://localhost:8080

อินเทอร์เฟซจะแจ้งให้คุณสร้างบัญชีเมื่อใช้งานครั้งแรก

4. เลือกและใช้โมเดล

เลือกโมเดล Ollama ที่คุณดาวน์โหลดไว้ก่อนหน้านี้และเริ่มแชทได้ทันที!

5. ปรับแต่งหน้าจอตามใจชอบ

เปลี่ยนจากโหมด Dark / Light หรือปรับแต่งอื่นๆ ตามต้องการได้เลยค่ะ คลิกที่ชื่อบัญชีบนมุมขวา แล้วเลือกเมนู Settings เพื่อปรับแต่งได้เลย

ตัวอย่างการใช้งาน

โมเดลขนาดเล็กของ Typhoon สามารถใช้งานได้หลากหลาย และทำงานได้ดีทั้งภาษาไทยและอังกฤษ นี่คือตัวอย่างบางส่วน:

1. ใช้ช่วยตอบคำถาม

ถามคำถาม Typhoon และโมเดลจะตอบกลับเป็นภาษาไทยหรืออังกฤษตามภาษาที่คุณถาม นอกจากคำถามทั่วไปแล้ว ยังสามารถใช้เป็นเครื่องคำนวณ คิดเลข แก้โจทย์เลขเบื้องต้นได้ (โจทย์ที่ซับซ้อนควรใช้ Reasoning model หรือโมเดลด้านเหตุผล)

ตัวอย่างคำถามคำนวณ (5x5)+5 ?
ตัวอย่าง ให้อธิบายเทศกาลสงกรานต์

2. ใช้ช่วยแปล

Typhoon สามารถช่วยแปลข้อความระหว่างไทยและอังกฤษได้อย่างราบรื่น

Thai-English translation

3. การสร้างเนื้อหา

ขอให้โมเดลเขียนคอนเทนต์ได้ ตั้งแต่คำบรรยายโซเชียลมีเดีย อีเมลธุรกิจ และอื่นๆ

4. การสรุปเนื้อหา

ให้โมเดลสรุปเนื้อหาจากข้อความยาวๆ หรืออัปโหลดเอกสาร และโมเดลจะสรุปให้ในรูปแบบที่อ่านง่าย

Summarize .pdf file

ทั้งหมดนี้เป็นตัวอย่างง่ายๆ เบื้องต้น สำหรับผู้ใช้พื้นฐาน แบบใช้งานง่ายๆ ในชีวิตประจำวัน

เคล็ด(ไม่)ลับ: วิธีใช้โมเดลขนาดเล็กให้มีประสิทธิภาพ

เพื่อให้ได้ผลลัพธ์ที่ดีที่สุดจากโมเดลขนาดเล็กของ Typhoon สิ่งสำคัญคือ การสร้างคำสั่งที่ชัดเจน และ ปรับพารามิเตอร์ ตามงานที่ต้องการ
คุณสามารถปรับพารามิเตอร์ได้โดยการหาเมนู Chat controls บนมุมขวาบนของหน้าจอ

Chat controls: adjusting parameters

เทคนิคการตั้งค่าพารามิเตอร์สำคัญๆ

1. Temperature

ควบคุมความสุ่มของคำตอบ เลขที่น้อย หมายถึง การลดความหลากหลาย เลขที่มาก หมายถึงการเพิ่มความหลากหลาย (สุ่มมาก) ซึ่งเหมาะกับงานที่ครีเอทีฟมากขึ้น

คำแนะนำ:

  • โมเดลขนาด 3b and 8b: temperature < 0.7
  • โมเดลขนาด 1b: temperature < 0.3 ควรให้งานที่ตรงไปตรงมา ไม่ต้องครีเอทีฟมาก
  • โมเดลให้เหตุผล (Reasoning) ควรใช้ temperature ไม่สูงมาก (0.3-0.5) เพื่อลดความผันผวน เน้นคิดอย่างตรงไปตรงมา

2. Top-p (Nucleus Sampling)

Top-p เป็นอีกค่าที่ใช้ควบคุมการสุ่มและความหลากหลาย โดยใช้หลักความน่าจะเป็น ตัวเลขที่น้อยจะโฟกัสแค่คำที่น่าจะเป็นที่สุดเท่านั้น ส่วนเลขที่มากจะขยายกรอบความน่าจะเป็นให้ครอบคลุมคำที่หลากหลายขึ้น

คำแนะนำ:
top_p = 0.9

3. Max Tokens

กำหนดความยาวสูงสุดของคำตอบ ตัวเลขมาก ยาวมาก ตัวเลขน้อยยาวน้อย

คำแนะนำ:

512 สำหรับงานโดยทั่วๆ ไป

1024 สำหรับงานที่ซับซ้อนขึ้น เช่น โมเดลให้เหตุผล

ลองแล้วยังไงต่อ

Ecosystem ของ Ollama เรียกได้ว่ากว้างขวางมากๆ มีการเชื่อมต่อกับ Tools มากมายเพื่อให้คุณพัฒนาเป็นแอปที่มีความสามารถมากขึ้นอีกได้ เช่น การต่อกับ LangChain จะมีประโยชน์กับการสร้าง AI agent หรือต่อกับ LlamaIndex เชื่อมต่อกับฐานข้อมูลของคุณเพื่อใช้งาน เพื่อใช้ความสามารถ Retrieval-Augmented Generation (RAG)

ในบทความต่อๆ ไป เราอาจเลือกหยิบเครื่องมือเหล่านี้มาพูดถึง ถ้ามีเรื่องอะไรที่คุณอยากรู้เป็นพิเศษ มาคุยกับเราได้เลย!

เข้ากลุ่มและพูดคุยกับเรา

อ่านมาถึงตรงนี้แล้ว เราอยากเชิญชวนทุกคนให้มาเข้าร่วมกับแชท Discord community ของ Typhoon เพื่อพูดคุย ถามคำถาม แลกเปลี่ยน และติดตามข่าวสารจากพวกเรากันต่อ

หวังว่าบทความนี้จะมีประโยชน์ค่ะ จะเห็นได้ว่าเริ่มต้นไม่ยากเลย รู้อย่างนี้แล้ว อยากชวนทุกคนมาเริ่มต้นใช้ Typhoon กันนะคะ