
![image](/images/2022/21/01.jpg)

- โมเดลอธิบายรูปภาพ (image captioning) เพื่ออธิบายภาพตรงหน้าให้กับผู้พิการทางสายตา,
- CLIPCap นำ pretrained CLIP เพื่อสร้าง image embeddings เป็น input ให้กับ pretrained GPT2 สร้างข้อความที่ตรงกับภาพ,
- เทรนโมเดลด้วย Flickr30k (รูป-คำบรรยายภาษาอังกฤษ) เป็นเวลา 17 ชั่วโมง (10 epochs),
- ตัดสินใจใช้ Flickr30k ทั้งที่จำนวนข้อมูลน้อยกว่า COCO เพราะทำแบบสอบถามแล้วพบว่าข้อมูลคำบรรยายของ Flickr30k มีคุณภาพมากกว่า,
- ใช้ PyThaiNLP Translate ในการแปลภาษาคำบรรยายเป็นภาษาไทย เนื่องจากแบบสอบถามพบว่าเป็นธรรมชาติกว่า Google Translate API ในบริบทนี้,
- ใช้ Google TTS ในการเปลี่ยนคำบรรยายที่ถูกแปลเป็นเสียงพูด,
- นอกจากการเทรนโมเดล CLIPCap ตรง ๆ แล้วยังมีการนำมาประกอบการใช้งานกับ pretrained models อื่น ๆ เช่น PyThaiNLP Translate และ Google TTS อีกทั้งการต่อสู้กับคุณภาพข้อมูลอย่างสมศักดิ์ศรี เช่น ลบรูปซ้ำ, แก้ข้อมูลตาราง, แก้คำบรรยายที่มีมากกว่าหนึ่งประโยคต่อกัน ฯลฯ

### แรงจูงในในการเข้าร่วมโครงการ (จากใบสมัครเข้าร่วมเมื่อ 10 สัปดาห์ที่แล้ว)

> "เคยเข้าร่วมโครงการ Samsung Innovation Campus มาแล้ว (ได้เรียนพื้นฐานของ Python และ AI มาบ้างเล็กน้อย) และอยากเรียนรู้เรื่องการทำ AI ที่มากขึ้นเพื่อสามารถนำไปต่อยอดในการทำโปรแกรมที่อยากทำ  อนาคตใฝ่ฝันอยากเป็นโปรแกรมเมอร์ ตอนนี้เลยเริ่มศึกษาหาความรู้เกี่ยวกับการเขียนโค้ด และเก็บเกี่ยวประสบการณ์ให้ได้มากที่สุดเท่าที่จะทำได้ และอยากมีโปรแกรมเป็นของตัวเองที่สามารถใช้แก้ปัญหาได้จริง และอยากนำความรู้ที่ได้ไปต่อยอดทำแอปฯ ที่ช่วยเหลือสังคมในอนาคต (BACK)  สิ่งที่อยากทำคือ Blind All Can Know (BACK) เป็นแอปพลิเคชันที่ช่วยบรรยายการกระทำต่าง ๆ ออกมาเป็นเสียง ที่สามารถทำได้แบบ real-time เพื่อช่วยเหลือผู้พิการทางการมองเห็น จะได้สามารถรับรู้ว่าเกิดอะไรขึ้นบ้าง ช่วยให้การใช้ชีวิตสะดวกสบายมากขึ้น (https://news.samsung.com/th/sic-coding-for-students ป.ล. Can Know ไม่ใช่ Can See ;-;;)"

BACK (Blind All Can Know) - Action Captioning for Blinds

โดย โชติวัฒน์ ตั้งสถาพร (ไนน์) •