
![image](/images/2022/28/01.jpg)

- โมเดลถอดคำร้องเพลงไทยจากไฟล์เสียงหรือลิ้งค์ YouTube โดยตรง ด้วย Wav2Vec2 ที่ถูกปรับจูน,
- ใช้ข้อมูล 50 เพลงยอดฮิตบน YouTube ตามยอดคนฟังเป็นความยาว 150 นาที,
- แยกเสียงเพลงออกจากเนื้อร้องด้วย Spleeter; ตัดเป็นคลิปละ 2-6 วินาทีเพื่อให้เหมาะกับการเทรนโมเดล,
- พบปัญหาเนื้อเพลงที่เป็นข้อความไม่ตรงกับเสียง; แก้ปัญหาด้วยการตัดมือแบ่งกับน้องนนนี่ เพื่อนในโครงการ,
- ทำความสะอาดเครื่องหมายพิเศษเข้ามาด้วย เช่น . , ที่เกิดจาการเชื่อมต่อประโยคต่างๆในเนื้อเพลง; เปลี่ยน ๆ เป็นการเพิ่มคำซ้ำในประโยคเช่น สิ่งต่างๆ เป็น สิ่งต่างต่าง; เปลี่ยน สระ แ ที่มักถูกเขียนในรูปของสระ เ เ เเละสระ ำ เป็น ํ า,
- แบ่ง train-valid-test ที่ 50:25:25,
- ใช้ airesearch/wav2vec2-large-xlsr-53-th ที่ถูกเทรนบน Common Voice 7 เป็นโมเดลพื้นฐาน,
- วัดผลด้วย WER (ตัดคำด้วย newmm ของ PyThaiNLP) และ CER; ทำได้ดีกว่า airesearch/wav2vec2-large-xlsr-53-th ประมาณ 3-4 เท่าบน test set

### แรงจูงในในการเข้าร่วมโครงการ (จากใบสมัครเข้าร่วมเมื่อ 10 สัปดาห์ที่แล้ว)

> "อยากเรียนรู้การทำAIในรูปแบบต่างๆ เพราะผมเคยทำโครงงานด้านนี้และรู้สึกสนใจอยากศึกษาจริงจัง และคิดว่าค่ายนี้จะสามารถเพิ่มความรู้และความเข้าใจเกี่ยวกับAIเพิ่มขึ้นนำความรู้ไปพัฒนางานหรือโครงงานที่ทำให้มีประสิทธิภาพและความถูกต้องที่เพิ่มขึ้น หรือได้เรียนรู้หลักการ เทคนิคต่างๆในการเทรนด์โมเดลที่ใช้ในการประมวลผล และสามารถนำความรู้นี้ไปต่อยอดงานด้าน AI ในอนาคตของผมได้"

Auto Lyric Recognizer

โดย กิตติพงศ์ เทพอยู่ (ปืน) •