ผลงานวิจัยของ Typhoon ในงาน SCI-FM, ICLR 2025 งานประชุมวิชาการด้าน ML ระดับโลก

พวกเราทีม Typhoon ในฐานะตัวแทนคนไทย มีความภูมิใจอย่างยิ่งที่จะประกาศว่ามีผลงานวิจัยสองชิ้นของเราได้รับการตอบรับในเวิร์กช็อป Open Science for Foundation Models (SCI-FM) ที่ งาน International Conference on Learning Representations (ICLR) 2025 🎉

ICLR เป็นหนึ่งในการประชุมวิชาการระดับโลกด้านแมชชีนเลิร์นนิง การตอบรับครั้งนี้ถือเป็นหมุดหมายสำคัญในการขับเคลื่อนภารกิจของเราเพื่อผลักดัน Open Science AI สำหรับภาษาที่มีทรัพยากรจำกัด (low-resource) โดยเฉพาะภาษาไทย

ก้าวข้ามข้อจำกัดด้านทรัพยากรด้วย Open Science

การพัฒนา AI ในปัจจุบันมักเน้นไปที่ภาษาที่มีทรัพยากรพร้อมใช้ ส่งผลให้เกิดช่องว่างทางเทคโนโลยี งานวิจัยของเราแสดงให้เห็นว่า Open Science สามารถลดช่องว่างนี้ได้ โดยใช้ภาษาไทยเป็นกรณีศึกษาในการทดสอบวิธีการที่สามารถนำไปปรับใช้กับภาษาอื่น ๆ ได้เช่นกัน

Typhoon T1: โมเดลด้านเหตุผลภาษาไทย แบบโอเพนซอร์ส ตัวแรกของไทย (First Open Thai Reasoning Model)

รูปที่ 1: กระบวนการแปลงและปรับปรุงข้อมูลการคิดแบบมีโครงสร้าง

Typhoon T1: An Open Thai Reasoning Model คือก้าวกระโดดในวิธีคิดเกี่ยวกับโมเดลความสามารถด้านเหตุผลสำหรับภาษา low-resource โดยมีนวัตกรรมสำคัญดังนี้:

• กระบวนการ Supervised Fine-tuning แบบใหม่: แตกต่างจากวิธี reinforcement learning แบบเดิม เราใช้การ fine-tune ที่ควบคุมได้ ทำให้กระบวนการโปร่งใสและเสถียร

• โครงสร้างการคิดแบบ XML: ช่วยให้โมเดลสามารถแยกปัญหาซับซ้อนออกเป็นขั้นตอนที่จัดการได้ง่ายขึ้น

• โอเพนซอร์สเต็มรูปแบบ: เปิดเผยข้อมูล ชุดข้อมูล วิธีการ และน้ำหนักโมเดล เพื่อสนับสนุนการพัฒนาแบบร่วมมือในชุมชน AI ไทย

น่ารู้: Typhoon T1 ไม่ใช่แค่โมเดลด้านเหตุผลภาษาไทยตัวแรกเท่านั้น แต่ยังเป็นโมเดลแนวนี้ตัวแรกของภูมิภาคเอเชียตะวันออกเฉียงใต้อีกด้วย

การปรับโมเดล LLM ภาษาไทยให้มีความสามารถด้านเหตุผลภายในหนึ่งวันด้วย Model merging

รูปที่ 2: ภาพรวมสูตรการทำงานของ Typhoon 2 R1 70B

งานวิจัยนี้ เป็นการทำการทดสอบว่าเราสามารถเสริมความสามารถด้านเหตุผลขั้นสูง เช่นของ DeepSeek R1 เข้าสู่ LLM ภาษาเฉพาะได้อย่างไร (ในกรณีนี้คือ Typhoon 2)

เราเสนอแนวทางที่สามารถขยายผลได้ในการพัฒนาโมเดลสำหรับภาษา low-resource ผ่านเทคนิคการรวมโมเดล:

• Representation Alignment: ใช้ชุดข้อมูลสองภาษาฝึกให้โมเดลเข้าใจภาษาไทยพร้อมเสริมทักษะการใช้เหตุผล

• Ability-Aware Layer Weighting: รักษาความสามารถด้านภาษา พร้อมเพิ่มศักยภาพด้านเหตุผลอย่างมีประสิทธิภาพ

• ประสิทธิภาพเชิงทรัพยากร: ได้ผลลัพธ์เทียบชั้นโมเดลระดับโลกโดยไม่ต้องใช้ทรัพยากรคอมพิวเตอร์มหาศาล

• การถ่ายโอนความรู้ข้ามภาษา: การนำความสามารถด้านเหตุผลไปปรับใช้กับภาษาอื่นๆ อย่างเป็นระบบ

ผลกระทบเชิงบวกต่อวงการ AI ระดับโลก

งานวิจัยของเราแสดงให้เห็นว่า ความสามารถ AI ขั้นสูงไม่จำเป็นต้องจำกัดอยู่เฉพาะภาษาที่มีทรัพยากรมาก ผลงานทั้งสองชิ้นเป็นก้าวสำคัญในด้านต่าง ๆ ดังนี้:

ประเด็น	ความสำเร็จ
ความสามารถด้านเหตุผล	ประสิทธิภาพเทียบเท่ากับโมเดลภาษาอังกฤษในงานด้านเหตุผลระดับสูง
การเข้าถึงได้	โอเพนซอร์สพร้อมเอกสารประกอบอย่างครบถ้วน
ประสิทธิภาพการใช้ทรัพยากร	เปิดโอกาสให้ชุมชนวิจัยขนาดเล็กสามารถเข้าถึงและพัฒนา AI ขั้นสูงได้
แนวทางข้ามภาษา	เป็นต้นแบบในการปรับใช้กับภาษาอื่นที่มีทรัพยากรจำกัด

ก้าวต่อไป

การได้รับเลือกให้นำเสนอในเวิร์กช็อป SCI-FM ที่ ICLR 2025 ตอกย้ำความสำคัญของ Open Science และการมุ่งเน้นพัฒนา AI สำหรับภาษา low-resource โดยเฉพาะภาษาไทย เรามุ่งมั่นที่จะแบ่งปันโมเดลและชุดข้อมูลกับชุมชนวิจัย ทำงานร่วมกับนักพัฒนาและนักวิจัยไทยในการขยายการใช้งานเทคโนโลยีนี้ และขยายผลต่อจากผลงานนี้เพื่อเพิ่มความสามารถของ AI ภาษาไทย

เกี่ยวกับ ICLR และเวิร์กช็อป SCI-FM

พวกเราทีม Typhoon ตื่นเต้นเป็นอย่างยิ่งที่จะได้นำเสนอผลงานในเวิร์กช็อป Open Science for Foundation Models (SCI-FM) ณ งาน ICLR 2025 ซึ่งสอดคล้องกับพันธกิจของเราที่ต้องการผลักดัน AI ให้เปิดกว้าง โปร่งใส และเข้าถึงได้

พบกับทีมของเราในงาน ICLR 2025 ที่เวิร์กช็อป SCI-FM

🤝 พูดคุยถึงความเป็นไปได้ในการร่วมมือเพื่อนำเฟรมเวิร์กของเราไปปรับใช้กับงานของคุณ

💡 เรียนรู้วิธีการทำงานแบบ Open Science ของเราจากผู้พัฒนาโดยตรง

🔍 เจาะลึกเทคนิคและการใช้งานจริงของโมเดล

🌐 เชื่อมต่อกับทีมวิจัยของเราและร่วมเป็นส่วนหนึ่งของชุมชน AI ที่กำลังเติบโต

รายละเอียดเวิร์กช็อป:

📍 ICLR 2025 SCI-FM (Workshop Hall 4 #5)

📅 28 เมษายน 2025 เวลา 15:00 - 16:00 (GMT+8)

💬 พบเราที่บูธ ตั้งแต่วันที่ 24 ถึง 28 เมษายน 2025

เข้าร่วมชุมชนออนไลน์ของเรา

นอกเหนือจาก ICLR 2025:

📚 อ่านผลงานของเราได้ที่:

Typhoon T1: https://arxiv.org/abs/2502.09042

Typhoon2 R1: https://arxiv.org/abs/2502.09056

🔬 สำรวจโอเพนซอร์สของเรา:

โมเดล open-weight: https://huggingface.co/scb10x

ดูโครงการโอเพนซอร์สอื่น ๆ ของเราได้ที่: opentyphoon.ai

📱 เข้าร่วมคอมมูนิตี้ของเราใน Discord