
![image](/images/2022/61/01.jpg)

- โมเดลตรวจจับอารมณ์เสี้ยววิหรือ Micro-expressions (Anger, Contempt, Happniess, Others, Surprise) จากรูปหน้า,
- Micro-expression เป็นการแสดงอารมณ์ที่รู้สึกจริง ๆ แต่ต้องโกหกเอาไว้ และเกิดขึ้นเร็วมากจนมนุษย์ทั่วไปไม่สามารถรับรู้ได้เลย ถ้าสมมติมีโมเดลที่สามารถตรวจและระบุอารมณ์นี้ได้อย่างแม่นยำ ก็จะสามารถจับอารมณ์ที่โกหกอยู่ได้และมีประโยชน์เป็นอย่างมากเช่นการจับโกหกในการนำไปเป็นพยานหลักฐานของสืบสวนคดีต่าง ๆ,
- ใช้ชุดข้อมูล SAMM dataset ประกอบไปด้วยรูปภาพที่แคปมาจากวิดีโอที่ถ่ายด้วยกล้องความเร็ว 200 fps มีทั้งหมด 29 subjects 159 samples แต่ละ sample มีรูปประมาณ 30-100 รูป,
- ดูตัวอย่าง micro expression ได้ที่ https://www.facebook.com/aibuildersx/videos/1455685481578809,
- ชุดข้อมูลมี 7 อารมณ์ ได้แก่ Happiness, Sadness, Anger, Disgust, Contempt, Fear และ Other แต่ Sadness, Fear และ Disgust มีจำนวนรูปน้อยเกินไปจึงตัดออกเพื่อป้องกัน label imbalance,
- แต่ละเฟรมของชุดข้อมูลถูกจดไว้ว่าเป็น Onset frame (หมายเลขเฟรมที่เริ่มอัดคลิป), Apex frame (หมายเลขเฟรมที่เป็นจุดพีคของการเกิด micro-expression), Offset frame (หมายเลขเฟรมที่จบการอัดคลิป) และ Duration (จำนวนเฟรมที่จับได้ ซึ่งสอดคล้องกับจำนวนรูปในไฟล์),
- จัดการแปลงรูปเพื่อเข้าสู่โมเดล 4 รูปแบบคือ 1) Original Apex frame — ใช้เฟรม ณ จุด Apex มาเป็น input 2) Difference of Apex frame and Onset frame — เนื่องด้วยเราได้แปลงข้อมูลภาพของเราเป็นตัวเลขเมื่อนำเข้าโมเดล จึงลองเอาผลต่างของ Apex กับ Onset มาเป็น input เพื่อแสดงว่าภาพตอนพีคกับตอนเริ่มต่างกันยังไง 3) Optical flow of Apex frame and Onset frame — เปลี่ยนจากผลต่างตัวเลขของ 2 เฟรมมาเป็น Optical flow ซึ่งก็คือแพทเทิร์นการขยับของภาพ โดยจะแสดงเป็นกลุ่มการไหลของแสง 4) Optical flow of Apex frame and Onset frame + Original Apex frame — คือการนำทั้ง Optical flow เมื่อกี้และภาพของ input แบบที่ 1 มารวมกันและนำไปเป็น input,
- เลือกใช้ ResNet-18 ที่ pretrained มาจาก EfficientFace ซึ่งเทรนมาจาก MS-Celeb-1M และมีจำนวน class มากถึง 12,666 คน,
- สร้างแบบทดสอบ 10 หน้าจากรูปที่ไม่ได้ใช้เทรนโมเดล โมเดลตอบถูก 6 จาก 10 ข้อเทียบกับมนุษย์ 29 คนที่ตอบถูก 2.759 ข้อโดยเฉลี่ย,
- ปัญหาที่พบและน่าทำการแก้ไขในอนาคต 1) จำนวนข้อมูลที่มีน้อย 2) ความ Imbalance ของข้อมูลในแต่ละ class 3) sample บางคลิป แทบไม่ขยับหรือขยับน้อยมาก 4) sample บางคลิป มีตำแหน่งหน้า ที่ไม่ตรงกันใน Apex frame กับ Onset frame ทำให้ optical flow ฟุ้งกระจาย

### แรงจูงในในการเข้าร่วมโครงการ (จากใบสมัครเข้าร่วมเมื่อ 10 สัปดาห์ที่แล้ว)

> "ผมเคยมีประสบการณ์ในด้านนี้ตอนแข่ง TMLCC ครับ แต่ว่าก็ยังเป็นแค่สร้างโมเดลเพื่อใช้ในการแข่ง ซึ่งตอนนั้นผมรู้สึกว่ามันเพลินมากตอนสร้างโมเดล อาจจะมีเหนื่อยบ้างนิดหน่อยตอนที่ต้องอ่าน papers ยาว ๆ หลายสิบหน้าที่เกี่ยวกับเคมี แต่เราก็ต้องสู้ครับ! ฮ่าๆ แม้ว่าตอนแก้และรันแต่ละครั้ง accuracy จะขึ้นหรือลง แต่ผมก็รู้สึกสนุกและลุ้นไปกับมันทุกครั้งเลยครับ ถ้าจะให้บอกว่าแรงบันดาลใจในเรื่อง AI ของผมมาจากไหน ก็คงต้องบอกว่ามาจากตัวเองที่มึความสุขกับมันนี่แหละครับ  ตั้งแต่ประถม ผมเริ่มรู้สึกกับตัวเองว่าเรามีความสุขเวลาที่เราสามารถแก้ปัญหาต่าง ๆ ได้ (แน่นอนว่าใครก็ต้องมีความสุขแหละครับที่คิดหาทางแก้ปัญหาออกได้) นั่นจึงทำให้วิชาที่โดดเด่นในเรื่องของการแก้ปัญหาอย่างคณิตศาสตร์เป็นวิชาที่ผมชอบได้อย่างไม่ยากเลยครับ ผมรู้สึกมีความสุขและสนุกที่หาวิธีคิดออกโดยเฉพาะวิธีแปลก ๆ ที่คนอื่นเขาไม่คิดกัน จนม.ต้น ผมได้รู้จักกับการ coding ตั้งแต่ครั้งแรกที่ผมเริ่มโค้ดก็รู้เลยครับว่านี่แหละสิ่งที่เหมาะกับเรา จนมาตอนม.ปลาย ผมก็เริ่มมองตัวเองในอนาคตว่าเราจะทำอะไร ก็หาข้อมูลกับลองเขียนนู่นนี่นั่นเล่นๆ จนผมได้มาเจอกับ AI ความรู้สึกตอนเจอคือแบบเดียวกับตอนม.ต้นเลยครับ ก็รู้เลยว่านี่คือสิ่งที่เรากำลังตามหาอยู่ แต่ตั้งแต่ตอนนั้นผมก็ยังไม่ได้สัมผัสเลยว่า โปรเจค AI จริง ๆ เป็นแบบไหน กระบวนการในการทำโปรเจคที่แท้จริงเป็นอย่างไร จึงอยากเข้าร่วมโครงการนี้เพื่อที่จะได้รับประสบการณ์ในการทำโปรเจคที่เป็นชิ้นเป็นอันและได้รับความรู้ในด้านที่เกี่ยวข้องเพื่อที่จะไปเรียนรู้ต่อและนำมาพัฒนาตนเองขึ้นไปอีกครับ และผมยังอยากหาเพื่อนหรือกลุ่มคนที่สนใจในด้านเดียวกัน จะได้มีคนที่คุยเรื่องพวกนี้ด้วยได้ครับ"

Emotion Detection from Facial Micro-experessions

โดย ครองภพ มั่นคง (ไบรท์) •