
![image](/images/2024/24/01.png)

- สร้างแอปพลิเคชั่นที่สามารถตรวจสอบได้ว่านิ้วของเราเวลาเล่นคอร์ดกีตาร์นั้นเล่นถูกคอร์ด, มีลักษณะการงอนิ้วขึ้นและมีองศาข้อมือที่ถูกต้องหรือไม่ เนื่องจากแอปพลิเคชั่นสอนกีตาร์ในปัจจุบันมีการจับแค่เสียง ไม่มีการจับภาพ ทำให้บางทีผู้เล่นอาจจะไม่รู้ว่าการวิธีจับคอร์ดของตัวเองนั้นเหมาะสมหรือเปล่า
- เราจะทำทั้งหมด 6 โมเดลด้วยกันนั่นคือ โมเดลตรวจสอบการงอของนิ้วชี้/นิ้วกลาง/นิ้วนาง, โมเดลตรวจสอบองศาการงอของข้อมือ, โมเดลตรวจสอบตำแหน่งของนิ้วชี้ที่ใช้ในการทาบคอร์ด และโมเดลจำแนกคอร์ด ซึ่งเราจะจำกัดขอบเขตของคอร์ดอยู่แค่ 2 ประเภทที่สำคัญนั่นคือ Major และ Minor ทำให้แบ่งลักษณะของการจับคอร์ดได้หลักๆ 12 แบบ
- เก็บ dataset จากการนำวิดีโอของตัวเองและเพื่อนที่เล่นกีตาร์ที่มี frame rate 30 fps ตัดสั้นๆ วิดีโอละประมาณ 1-4 วินาทีเพื่อนำมาต่อกันจนได้ความยาว class ละ 40 วินาที(1200 frames) โดยจะนำวิดีโอทั้งหมดมา crop ให้มีอัตราส่วน 4:3 ตาม standard ของ opencv
- เราจะเก็บทั้งข้อมูล landmark รูปแบบของ CSV ที่เป็น Tabular Data โดยใช้ mediapipe ในการเก็บ และข้อมูลที่เป็นรูปภาพเพื่อนำมาเปรียบเทียบผลลัพธ์กัน
- ข้อมูล Landmark ที่ถูกจัดเป็น Tabular data จะนำไปเปรียบเทียบประสิทธิภาพของวิธีในการสร้าง Model 3 วิธีด้วยกันนั่นก็คือการใช้ Neural network, XGBoost และ Random Forest โดยในแต่ละวิธีก็จะมีการทำไม Grid Search เพื่อหา combination ของ Hyperparameter ที่ดีที่สุดออกมาหลังจากนั้นจึงนำไป Test กับวิดีโอที่โมเดลไม่เคยเห็นมาก่อน
- ข้อมูลรูปภาพจะถูกนำไป Preprocessing 3 วิธีด้วยกัน คือการ Mask Countour, การทำให้ภาพเหลือแต่ขอบ และการ convert ภาพเป็น YCrCB นำไปเทรนโดยใช้ CNN from scratch โดยแต่ละโมเดลจะเลือก 2 วิธีการ Preprocess ที่ดีที่สุดไปลอง Train กับ Pretrain model eva02_tiny_patch14_336 และ efficientnet_b2
- ผลลัพธ์การใช้ Image Processing ส่วนใหญ่ดีกว่าการใช้ Tabular Data มากๆ และการใช้ Pretrain Model ก็ทำให้ได้ผลลัพธ์ดีกว่า Model From Scratch แต่ว่า Runtime กลับเยอะว่าราว 40 เท่า จึงไม่เหมาะกับการใช้แบบ Real-time
- ทำแอปพลิเคชั่นเป็นไฟล์ .exe โดยใช้ภาษาไพทอน โดยในโปรแกรมจะมีการให้ User select ภาพคอกีตาร์ของตนเอง จากนั้นก็ใช้ SIFT Feature Extract ในการ Track คอกีตาร์ทำให้โปรแกรมสามารถรู้ตำแหน่งมือของเราเพื่อช่วยในการทำนายคอร์ด พร้อมทั้งบอกได้ว่านิ้วของเรานั้นงอได้ถูกต้องเหมาะสมหรือเปล่า

### แรงจูงในในการเข้าร่วมโครงการ (จากใบสมัครเข้าร่วมเมื่อ 10 สัปดาห์ที่แล้ว)

> หลังจากที่ผมได้ข่าวสารเกี่ยวกับโครงการ ai builder มาจากเพื่อนๆเมื่อปีที่แล้ว ผมก็ได้ติดตามเพจ facebook ของทางโครงการมาโดยตลอด ซึ่งก็ทำให้ผมได้เห็นโปรเจกต์ของเพื่อนๆพี่ๆน้องๆหลายคน ที่ผมรู้สึกว่าน่าสนใจจนอยากที่จะทำโปรเจกต์เป็นของตัวเอง เพราะผมเชื่อว่าการเรียนรู้ที่จะมีประสิทธิภาพมากที่สุดเกิดจากการได้ลงมือทำ และในช่วงนี้ก็เป็นช่วงปิดเทอมของผมระหว่างม.6 และมหาลัย ซึ่งผมได้เลือกต่อในสายของวิศวกรรมคอมพิวเตอร์ ผมจึงอยากใช้โอกาสที่เหมาะสมในช่วงปิดเทอมนี้ไปในการเรียนรู้และพัฒนาฝีมือของตนเอง พร้อมกับการได้ทำในโปรเจกต์ที่ตนเองอยากทำ ผมมองว่า ai builder เป็นโครงการที่ดีมากๆ มีอาจารย์และเพื่อนร่วมโครงการที่เก่งๆมากมายที่จะคอยให้คำปรึกษาได้ จึงเลือกที่จะสมัครเข้าโครงการนี้โดยหวังว่าผมจะมีความสามารถในการเขียนโปรแกรมทำ ai ขึ้นไปอีกระดับ ถ้าผมได้รับคัดเลือกได้เข้าร่วมจนจบโครงการ
    

Guitar fingering and chord detection for beginner

โดย กัญจน์นวิชย์ มั่นศักดิ์(กัญจน์) • วมว.ดรุณสิกขาลัย / กรุงเทพมหานคร