
![image](/images/2025/9/01.png)

- ปัญหาทั้งหมดเกิดจากการเรียนการสอนวิชาคณิตศาสตร์ระดับมัธยมศึกษาตอนปลาย โดยเฉพาะหัวข้อ "พีชคณิต" ที่นักเรียนจำนวนมากยังประสบความยากลำบากในการทำความเข้าใจแนวคิดหลักและการจัดรูปสมการ ส่วนครูผู้สอนก็มีข้อจำกัดด้านเวลาในการสร้างโจทย์ ตรวจคำตอบ และให้คำแนะนำรายบุคคล
- การเก็บข้อมูลนั้นเป็นการรวบรวมจาก Dataset 10 แหล่งที่หามา format ไม่เหมือนกันจึงต้องทำ Standard format โดย Dataset ต้องมี question (คำถาม), solution (วิธีการทำ), answer (คำตอบ) แต่บาง Dataset จะมี bloom’s taxonomy มาให้ หลังจากนั้นก็ไปทำ Standard format แล้วแปลด้วยโมเดล English-Thai Machine Translation Models จากนั้นก็นำ Dataset ที่มี Bloom’s Taxonomy ไปให้ผู้เชี่ยวชาญจาก สวทช. ตรวจ แล้วนำ Dataset ที่ได้มาทำเป็น Seed Dataset ส่งให้ Gemma 2 27B มานั่งจัดการ Dataset ให้ภาษา รูปแบบ ตรงกับ Seed Dataset และ Bloom’s Taxonomy ให้สอดคล้องกับโจทย์ (ผมให้ Gemma 2 27B มานั่งจัดการ แต่ผมทำเป็นแบบ parallel 10 worker 10 batch_size เพราะถ้าไม่ทำแบบนั้น tqdm มันบอกผมใช้เวลาไป 200 กว่าชั่วโมง แต่หลังจากที่ผมทำเป็น parallel tqdm บอกใช้เวลาไป 60 กว่าชั่วโมง)
- Model ที่ใช้เทรนนั้นทำมาทั้งหมด 3 โมเดล โดย V1 เป็นช่วงเริ่มต้นที่ได้ Fine-tune, V2 เป็นช่วงถัดมาได้ลองเปลี่ยนมาใช้ Qwen2.5 7B เพื่อให้โมเดลเข้าใจคณิตศาสตร์มากขึ้น, V3 เป็นช่วงถัดมาได้ลองเปลี่ยนมาใช้ Qwen3 8B เพราะต้องการประสิทธิภาพที่ดีขึ้น
- ในส่วนการเปรียบเทียบนั้นได้สร้างโมเดล Thai-HomeworkGen-Judge-v2 เพื่อมาตรวจข้อมูลตามเกณฑ์ต่างๆ โดยใช้ Qwen3 8B เป็น base model สำหรับตัว Judge และสร้าง Dataset ใหม่สำหรับตัว Judge โดยเฉพาะ Thai-HomeworkGen-1K-judge โดยใช้เทคนิคเดียวกับ Dataset 122K แล้วให้ DeepSeek R1 ที่จ่ายเงินซื้อเครดิตมาทำการปรับปรุง (อันนี้ผมก็ทำเป็น parallel เหมือนกันแต่ใช้ 4 worker เพราะไม่งั้นช้ามาก)
- ความแม่นยำของ model Thai-HomeworkGen-v3 ได้คะแนนสูงสุดในเกือบทุกด้าน (5/5 ในความถูกต้องของคำตอบ วิธีทำ โจทย์ และไวยากรณ์) เทียบกับ baseline Qwen3 8B ที่ได้คะแนนเต็มทุกด้าน แต่ยังมีจุดอ่อนในการจัดหมวดหมู่ตาม Bloom's Taxonomy (1/5) ที่ต้องปรับปรุงต่อไป
- ปัญหาระหว่างพัฒนาอย่างอื่นที่เจอก็มีหลายอย่าง เช่น dataset จาก 10 แหล่ง format ไม่เหมือนกัน ต้องใช้เวลาเยอะมากในการทำ standardization, การแปลจากอังกฤษเป็นไทยบางครั้งความหมายทางคณิตศาสตร์มันผิดหรือเพี้ยน ทำให้โจทย์บางข้อผิด ความถูกต้องของโจทย์เลยมีปัญหาบ้าง, การตรวจสอบคุณภาพก็ต้องใช้ผู้เชี่ยวชาญจากด้านการศึกษามาช่วยซึ่งใช้เวลานาน และ bloom’s taxonomy เองมันก็ซับซ้อนต้องเข้าใจทางการศึกษาเชิงลึก ไม่ใช่แค่แปลภาษาได้ก็พอ
- ส่วนเรื่อง resource ก็เป็นอีกปัญหาใหญ่ เพราะต้องใช้ compute เยอะ แต่เครดิตที่มีอยู่จำกัด ทำให้บางรอบต้องลดจำนวน batch หรือลดจำนวนรอบการเทรน ทำให้ performance ที่ออกมายังไม่ดีเท่าที่ควร โดยเฉพาะเรื่องการจัดหมวดหมู่ตาม Bloom’s taxonomy ที่ model ยังเข้าใจไม่ลึกพอ
- งานที่อยากนำไปต่อยอดคือการฝึกโมเดลด้วยเทคนิคใหม่ด้วย GRPO โดยจะใช้ pre-train จากโมเดล Thai-HomeworkGen ของตัวเองที่จะใช้เทคนิค SFT และใช้ชุดข้อมูล sample ทั้งหมด แล้วให้ตัวโมเดล Judge เป็นตัวตัดสินให้ reward กับตัว GRPO เพื่อปรับปรุงประสิทธิภาพในการจัดหมวดหมู่ตาม Bloom's Taxonomy


Upmathaib

โดย Techin Pongmookda • -