
![image](/images/2022/49/01.jpg)

- โมเดล reinforcement learning (advantage actor-critic; A2C) ทำหรับจัดการไฟจาราจรบนแบบจำลอง Simulation of Urban Mobility (SUMO) ที่สร้างขึ้นมาจากแผนที่จริงผ่าน OpenStreetMap,
- สร้างแบบจำลองแยกจราจรจากแผนที่ OpenStreetMap บน SUMO ด้วยOSMWebWizard; สร้างไฟล์ .net.xml สำหรับเส้นทางเดินรถ และ .rou.xml สำหรับระบุรถที่เข้ามาในเลน กำหนดให้รถเข้ามาในเลนของแบบจำลองโดยการสุ่ม,
- วัดผลโดยการคำนวณความหนาแน่นของรถต่อเลนโดยเฉลี่ย (average lane density),
- ทดลองสี่แยกแบบง่ายกับสถาปัตยกรรม A2C, Deep Q-learning (DQN), Proximal Policy Optimization (PPO); พบว่า A2C ทำได้ดีที่สุด,
- ปัญหาสำคัญของโครงงานนี้ที่ยังต้องหาทางแก้ไข และปรับปรุงต่อไปก็คือ map จากเส้นทางจริงที่ถูก import มาจาก OSM มีความผิดพลาดของเส้นถนนอยู่มากมาย เช่น สัญญาณไฟจราจรที่มีมากกว่าหนึ่งอันในหนึ่งแยก เส้นทางถนนที่เกิดการทับซ้อนกันของ map ทำให้รถวิ่งขวางเส้นทางกันเอง(ซึ่งไม่ควรเกิดขึ้นกับสถานที่จริง) ปัญหาถนนที่เป็นทางตันทำให้รถบางส่วนวิ่งวนและเกิดการติดขัดไปสู่ทั้งระบบ และทำให้เป็นปัญหาในการ import มาให้ RL เรียนรู้ จากปัญหาดังกล่าวทำให้เราตัดสินใจว่า โครงงานนี้จะใช้ map ที่มีอยู่จาก Library SUMO-RL ที่มีความซับซ้อนมากขึ้นและใกล้เคียงกับ map ในสถานที่จริงมากที่สุด แทนการใช้ map ที่มีในสถานที่จริง

### แรงจูงในในการเข้าร่วมโครงการ (จากใบสมัครเข้าร่วมเมื่อ 10 สัปดาห์ที่แล้ว)

> "ผมมีความสนใจในการ coding มาเป็นเวลาสักพักใหญ่แล้วครับ ผมได้ลองพยายามศึกษาจากการนั่งฟังบรรยายมาเยอะพอสมควร ได้ลองเสียเงินฟังบรรยาย ก็ได้ความรู้พื้นฐานมาบ้างแต่ผมก็ไม่ได้รู้สึกว่าตัวเองเขียน code เป็นเลย จนผมลองมาเจอกับโครงการ AI builder ของปีที่แล้ว ผมรู้สึกชอบวิธีการที่สอนแล้วตั้งคำถามไปด้วยมากๆ และได้ลองแก้โจทย์ที่ทีมงานได้ให้มา ถึงตอนนั้นผมจะยังไม่ได้ได้ผ่านเข้ารอบมาทำ Project ต่อ แต่ผมก็ได้รู้ว่าการทำ coding นั้นไม่ใช่แค่ฟังแล้วจะเขียน code เป็น ต้องอาศัยการฟัง การทำความเข้าใจ และ ลงมือปฏิบัติจริง ถึงจะทำให้เราสามารถแก้ไขปัญหาได้ นั้นจึงเป็นเหตุผลว่าทำไมผลถึงอยากเข้าร่วมโครงการนี้ ผมอยากได้ความรู้ที่จะนำไปต่อยอดสู่อนาคตได้ อยากลองทำ Project เกี่ยวกับ coding ให้มันสำเร็จสักอันหนึ่ง อยากมีประสบการณ์การต่างๆที่ผมจะสามารถเรียนรู้จากมันได้ อยากจะทำให้ตัวเองกล้าพูดได้อย่างเต็มปากหลังจบ Project นี้ไปว่า “ผมเขียน Code เป็น”"

RL in Traffic Management

โดย ณดล พิพัฒนติกานันท์ (ไตตั้น) •