
![image](/images/2022/46/01.jpg)

- โมเดลแต่งเพลงประกอบเกม Undertale ด้วย RNN ที่ถูกเทรนด้วยเทคนิค Teacher Forcing,
- ในวัยเด็กผมเคยมีประสบการณ์เล่มเกมที่มีชื่อว่า Undertale มันเป็นเกมที่มีเนื้อเรื่องแปลกใหม่ ระบบการเล่นที่สนุก และที่สำคัญที่สุด มันมีเพลงประกอบตัวเกมที่ไพเราะเกินบรรยาย เพลงประกอบเกมนี้ได้กวาดรางวัลมาแล้วมากมาย ขายเป็นแผ่นเสียงได้เป็นกอบเป็นกำและได้ถูกจัดแสดงบนเวทีระดับโลกมาแล้ว ตัวผมจึงอยากลองค้นหาความมหัศจรรย์ของบทเพลงเหล่านี้ ทว่าผมขาดความรู้และพรสวรรค์ทางด้านดนตรีจึงไม่สามารถเข้าใจความสัมพันธ์ของบทเพลงเหล่านี้ได้ ผมจึงลองศึกษาศาสตร์AI ในการวิเคราะห์ความสัมพันธ์เหล่านี้ดู,
- ใช้ dataset ที่เป็น MIDI ของเพลงเกม Undertale จาก Kaggle,
- พบปัญหาว่า 1) มีเครื่องดนตรีเล่นพร้อมกันหลาย track ใน 1 file midi ทำให้ยากต่อการเลือก track ที่มีความสำคัญมากที่สุด 2) resolution (โน้ตถูกแบ่งเป็นกี่ส่วน) ที่กระจายตัวหลากหลาย ค่า resolution ที่มากทำให้สามารถอ่านข้อมูลได้ช้า และสิ้นเปลืองพื้นที่หน่วยความจำ,
- แก้ปัญหาโดยการปรับ resolution ให้เป็น 96 ทั้งหมด (เพิ่ม tempo เป็นการทดแทน) และแปลงไฟล์midi ให้เหลือเพียง 1 track และมีเพียง 1 เสียงเครื่องดนตรีด้วย pianoroll (แล้วค่อยเปลี่ยนกลับเป็น MIDI อีกรอบ),
- ใช้สถาปัตยกรรม LSTM (1-3 ชั้น), BiLSTM (3 ชั้น) และทดลองเทคนิค warm-start (เทรนต่อจากโมเดลคล้ายคลึงกัน) และ teacher forcing,
- teacher forcing เป็นเทคนิคที่ใช้ ground truth เป็น input ให้กับ RNN (ในที่นี้คือ LSTM) ในหน่วยถัดไปแทนที่จะเป็น output จากหน่วยก่อนหน้า,
- วัดผลด้วยแบบสอบถามและคำนวณ mean opinion score; พบว่า WarmStart + BiThreeFold (BiLSTM 3 ชั้นและ warm start; 3.68), WarmStart (warmstart + teacher forcing; 3.59), BiThreeFold (BiLSTM 3 ชั้น; 3.34) และ Toby (LSTM 1 ชั้น; 3.30) ทำคะแนนได้ดีกว่าเพลงจริง (2.80) เสียอีก(!!) ทั้งนี้การประเมินผลอาจจะมี bias เนื่องจากความหลากหลายและประสบการณ์ของผู้ทำแบบสอบถาม,
- โมเดลไม่สามารถเรียนรู้จังหวะ, ความยาวของโน๊ต และไม่สามารถแต่งเพลงที่มีความหลากหลายของจังหวะได้ อาจจะส่งผลต่อความรู้สึกต่อคุณภาพของเพลงของผู้ตอบแบบสอบถาม เนื่องจากว่าความไพเราะของเพลงมีเรื่องจังหวะและทำนองเข้ามาเกี่ยวข้องด้วย,
- โมเดลอาจจะ overfit บทเพลงและยังไม่สามารถแต่งเพลงให้หลากหลายตามอารมณ์ได้; อาจต้องแยกเทรนตามอารมณ์ของเพลง

### แรงจูงในในการเข้าร่วมโครงการ (จากใบสมัครเข้าร่วมเมื่อ 10 สัปดาห์ที่แล้ว)

> "เมื่อปีที่แล้วพี่ชายของผมได้เข้าร่วมโครงการนี้ จากคนที่แทบจะไม่สนใจภาษาpyton กลับกลายเป็นผู้ที่ชื่นชอบAI และเขามักtrain AIอย่างต่อเนื่อง ผมเคยเข้าร่วมโครงการ ที่เกี่ยวข้องกับ health care data science โดยใช้ภาษาpyton 2 ครั้ง และเคยมีโอกาสศึกษาภาษาpytonด้วยตนเองในเว็บไซต์ต่างๆ เช่น datacamp  AI เป็นสิ่งที่ล้ำสมัยในสายตาของผมและของโลก นอกจากจะมีศักยภาพในการประมวลผลที่สูงกว่ามนุษย์เช่น ในด้านของความเร็ว กระบวนการคิด ฐานข้อมูลอัยมหาศาล และอื่นๆ มันยังวิเคราะห์ผลลัพธ์ออกมาได้หลากหลายประเภท ไม่ว่าจะเป็น ภาพ เสียง ความน่าจะเป็น นอกจากนี้ AI/data scienceยังเป็นสายงานอาชีพที่เป็นที่ต้องการของตลาดในอนาคต ตอนแรกผมคิดว่าการสร้าง ai เป็นเรื่องเพ้อฝัน แต่โครงการนี้ทำให้ฝันที่จะที่จะลองทำสิ่งแปลกใหม่ได้อยู่ต่อหน้าผมแล้ว ผมจะทำมันให้เป็นจริง"

สร้างสรรบทเพลง Undertale ผ่าน LSTM และ Teacher Forcing RNN

โดย นพวิทย์ ตันติศิริวัฒน์ (ภีม) •