
![image](/images/2022/53/01.jpg)

- โมเดลอ่านปากจากวิดีโอด้วย CNN-LSTM,
- สร้างชุดข้อมูลขึ้นมาเองโดยใช้รูปหน้าคนที่กำลังพูด phoneme จากวิดีโอคนพูดบทหนัง Bee Movie เป็นเวลา 1 ชั่วโมงกว่า (https://www.youtube.com/watch?v=AJCfgXhA5fc),
- จับคู่รูปหน้า(และปาก)กับ phoneme ได้ประมาณ 100,000 คู่; phoneme มี 40 ประเภท,
- ทดลองสถาปัตยกรรม CNN ทายทีละรูปและ CNN-LSTM เพื่อทาย phoneme จาก sequence ของรูปก่อนหน้า; ได้ accuracy บน validation set ที่ 42.9% (CNN) และ 32% (CNN-LSTM),
- เปลี่ยน phoneme เป็นคำด้วย The CMU Pronouncing Dictionary,
- เหตุผลความผิดพลาดหลักๆเนื่องจาก phoneme มีประเภทเยอะ, บาง phoneme รูปปากใกล้เคียงกันมาก เช่น f และ v, และบาง phoneme มีจำนวนรูปที่ใช้เทรนน้อย (เสียงที่ไม่ค่อยมีคนใช้ เช่น zh)

### แรงจูงในในการเข้าร่วมโครงการ (จากใบสมัครเข้าร่วมเมื่อ 10 สัปดาห์ที่แล้ว)

> "เพราะผมรู้ตัวว่าผมชอบด้านนี้แน่ๆ ผมอยากเรียนรู้เพิ่มเติมในด้านการเขียนโปรแกรมภาษาไพทอน ถึงแม้โครงการนี้จะไม่รับผมเข้าผมก็ยังจะศึกษาคนคว้าแลอบด้านนี้ต่อไป และผมทุ่มเทเวลาและตั้งใจ ศึกษาหาคอร์สสอนพวกนี้อยู่ตลอด และถ้าเข้าโครงการนี้ได้ผมจะตั้งใจจริงๆ  ผมสนใจในการโค้ดภาษา python มากๆ หาเรียนฟรีใน YouTube มาตลอดและมีเรียนจากที่โรงเรียนเล็กน้อย ผมเห็นว่า python สามารถทำอะไรได้มากมายจึงอยากเรียนรู้เพิ่มเติมในด้านนี้ ผมไม่ค่อยมีความรู้ด้าน library numpy หรือ pandas (อาจจะทำผิดในข้อสอบข้อต่างๆที่ใช้ module พวกนี้ แต่เรียนคอร์สปรับพื้นฐานที่โครงการจัดให้แล้ว) แต่ผมพอมีพื้นฐาน python เคยทำเกมจาก pygame หรือ lib ต่างๆ ผมจึงอยากเข้าร่วมโครงการนี้เพื่อเรียนรู้การทำ AI ด้วย python และการใช้ library ต่างๆเช่น numpy หรือ pandas ผมเพิ่งมาเห็นโพสต์นี้เอาวันสุดท้ายก็อาจจะมีมีโค้ดผิดอยู่สองข้อ แต่ผมตั้งใจทำในระยะเวลาที่เหลืออยู่มากที่สุดแล้วครับ อยากเข้ามากๆครับ"

A Lip Reader

โดย พุทธคุณ บุญชัย (ข้าวตู) •