
![image](/images/2022/65/01.jpg)

- โมเดลแยกแยะโน้ตเพลงรายตัวจากไฟล์ MIDI ด้วย Convolutional Neural Networks (CNN),
- แรงบันดาลใจจากความคิดง่ายๆอย่าง “ถ้ามี AI ที่พอฟังเราฮัมเพลงแล้วทายโน๊ตถูกเลยคงดีนะ” ในช่วงนั้นเราได้รู้จักคำว่า “Perfect Pitch” ซึ่งเป็นคำเรียกกลุ่มคนที่ฟังเพลงแล้วรู้โน๊ตในทันที สามารถแยกแยะเสียงโน๊ตได้ตั้งแต่เกิดหรือฝึกเอา จาก ear training บ่อยๆ ประจวบกับโครงการ AI Builders ประกาศพอดี เลยถือโอกาสมาลองฝึก “Perfect Pitch” กับ Model ดู,
- ชุดข้อมูลจากไฟล์เสียง MIDI ที่สร้างขึ้น ประกอบไปด้วยเสียงโน๊ตตั้งแต่ C0-B9 ที่เล่นโดยเครื่องดนตรีต่างชนิดกัน มีไฟล์เสียงทั้งสิ้น 26,643 ไฟล์,
- จัดการข้อมูลโดย 1) resample เสียงให้มีความละเอียดที่ 16000 Hz 2) mix down ในกรณีที่ไฟล์บางไฟล์มีการแยก channel ซ้าย/ขวา เราจะรวมเสียงให้มาอยู่ใน mono channel 3) เปลี่ยนเป็น mel spectrogram ซึ่งเป็น short-time fourier transform ที่เน้นแค่คลื่นเสียงต่ำอันเสียงออกมาเป็นค่าที่ใกล้เคียงกับค่าที่มนุษย์ได้ยิน; ที่จริงเรายังสามารถ take log ลงไปเพื่อให้ range ของข้อมูลไม่กว้างและกระโดดมาถึง 20,000 แต่เนื่องจากการ predict note เราดูแค่ frequency เสียงที่โดดขึ้นมา จึงไม่ได้มีผลต่อการทำนายมากนัก กลับกัน หากเป็น speech ก็จะทำให้เกิดปัญหาตามมาได้,
- โมเดลรับข้อมูล tensor ของ data ที่มี size เป็น (128,50) แล้วส่งเข้าโมเดลก่อนจะ predict ค่ามาเป็น index ของ classmap ตั้งแต่ 0–12 (classmap=[“C”,”C#”,”D”,”D#”,”E”,”F”,”F#”,”G”,”G#”,”A”,”A#”,”B”]),
- เทรน 1D CNN 3 layers (ขนาด channel 128 -> 256 -> 512) ด้วย cross-entropy loss; ใช้ BatchNorm1D มา normalization ข้อมูลก่อนออกจาก layer ก่อนจะใช้ Activation ReLU เพื่อจะกำจัดค่าที่น้อยกว่า 0 ออกเป็นตอนสุดท้ายเพราะความถี่เสียงมีค่าติดลบไม่ได้,
- ได้ accuracy 96.48% หลังเทรนไป 20 epochs,
- นอกจากนี้ยังได้ทำอีกโครงการสำหรับแยกแยะโน้ตที่เรียงกัน 1,500 time steps จากชุดข้อมูล MusicNet (https://zenodo.org/record/5120004#.YrHWQLlBxQI) อีกด้วย; ทดลองสถาปัตยกรรมากมายได้แก่ Conv1d -> Conv1d -> Linear, Conv1d -> RELU -> Linear(บนแกน time) -> LSTM(บนแกน feature), Convo1d -> LSTM(time) -> Linear(time) -> LSTM(feature), Conv1d(kernel = 6) -> ReLU -> Conv1d(kernel = 8) -> LSTM แต่ปัญหาการทายโน้ตหลายตัวพร้อมกันยังยากกว่าทายตัวเดียวมาก (อ่านต่อได้ที่ https://neennera.medium.com/%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%9E%E0%B8%B1%E0%B8%92%E0%B8%99%E0%B8%B2-model-%E0%B9%81%E0%B8%A2%E0%B8%81%E0%B9%82%E0%B8%99%E0%B9%8A%E0%B8%95%E0%B8%94%E0%B8%99%E0%B8%95%E0%B8%A3%E0%B8%B5%E0%B9%83%E0%B8%99%E0%B9%80%E0%B8%9E%E0%B8%A5%E0%B8%87-%E0%B9%82%E0%B8%94%E0%B8%A2-pytorch-b239dc0e956c)

### แรงจูงในในการเข้าร่วมโครงการ (จากใบสมัครเข้าร่วมเมื่อ 10 สัปดาห์ที่แล้ว)

> "เราให้นิยามตัวเองว่าเป็นคนที่มีความพยายามต่องานที่ทำอยู่เสมอ จึงมั่นใจได้ว่าเราจะทำโปรเจคนี้อย่างเต็มความสามารถ เรามีความรู้ในการเขียนโปรแกรมภาษา python มาจากการศึกษาด้วยตนเองเพื่อทำ project ในโรงเรียนและมีความกระตือรือร้นที่จะเรียนรู้อีก เรายังได้ทำการศึกษาการเขียนโปรแกรมมาหลากหลายผ่านการเข้าค่ายโอลิมปิกวิชาการคอมพิวเตอร์ค่าย 2 ที่ทำให้เราได้เข้าใจ algorithm ที่หลากหลาย เราได้ร่วมพัฒนาโครงการเครื่องให้อาหารแมวที่ควบคุมบน Web Application และทำงานร่วมกับระบบ IoT โดยตลอดเวลาที่ทำงานเหล่านั้นเราศึกษาบนเว็บต่างประเทศจึงสามารถอ่าน, แปล, และทำความเข้าใจบทความหรือ paper ภาษาอังกฤษได้ดีมาก เรามีแรงบันดาลใจในการสร้าง AI แก้ปัญหาในชีวิตประจำวัน แม้จะเป็นปัญหาเฉพาะกลุ่มแต่ก็สามารถสร้างความแปลกใหม่ได้ เราคาดหวังอย่างยิ่งว่าจะได้รับโอกาสในการทำความฝันนั้นให้เป็นจริง  ปฏิเสธไม่ได้ว่า Artificial Intelligence ได้เข้ามาบทบาทอย่างมากในปัจจุบัน ทั้งช่วยย่นการทำงานของมนุษย์ ช่วยจำแนกหรือวิเคราะห์ข้อมูลที่ซับซ้อน แนะนำ content ที่เกี่ยวข้อง หรือแม้แต่ช่วยตัดสินใจ แต่ก็ใช่ว่า AI จะสามารถทำได้ทุกอย่างหรือแม้แต่การทำงานออกมาได้ perfect 100% ก็เป็นไปได้ยากหากขาด dataset , การจัดการข้อมูลที่ดี หรือ วิธีการ train model ที่เหมาะสม ซึ่งสิ่งนี้จำเป็นต้องศึกษาเพิ่มเติมกว่าความรู้ในม.ปลายไปมาก และจำเป็นต้องพึ่งพาผู้ที่มีประสบการณ์มากกว่า  เราสนใจโครงการ AI Builder ตั้งแต่ปีที่แล้ว แม้จะไม่ผ่านรอบคัดเลือกตัวจริงแต่ก็ได้ศึกษาเนื้อหาไปบ้างในแบบของนักเรียน sit-in หลังจากเห็นโครงงานของเพื่อนหลายคนก็ทำให้เรามีไฟที่อยากจะมาลองสมัครรอบของปีนี้อีก! AI Builder มีเนื้อหาที่เข้มข้นและสิ่งที่สำคัญคือการมี mentor ที่เชี่ยวชาญ และกลุ่มเพื่อนเข้ามาช่วยให้คำปรึกษา เราจึงคิดว่าหากได้เข้าร่วมโครงการนี้แล้ว คงจะได้พัฒนาฝีมือตัวเองให้ดีขึ้นและเข้าใจถึงการพัฒนาโปรเจค AI อย่างเต็มรูปแบบจนอาจสามารถตกตะกอนความรู้และถ่ายทอดให้ผู้อื่นได้ในภายหลัง"

Single Note Music Classification

โดย ณภัทร เสรีรักษ์ (นีร) •