
![image](/images/2023/85/01.jpg)
    
- Finetune LLaMA เพื่อสร้างชุดข้อมูลบทสนทนา open source สำหรับเทรนโมเดลinstruction following (โมเดลแบบ ChatGPT)
- ชุดข้อมูลใช้ unified_abstract_infill.jsonl ที่เป็นข้อมูลบทสนทนา instruction following ที่เป็น open source ในรูปแบบ:Background: Glipa annulata is a species of beetle in the genus Glipa. It was described in 1868.<human>: What is Glipa annulata?<bot>: Glipa annulata Glipa annulata is a species of beetle in the genus Glipa
- สิ่งที่ต้องการทำคือให้โมเดลสร้างคำถาม (<human>) และคำตอบ (<bot>) ขึ้นมาเองจาก Background ที่ส่งให้ เพื่อใช้เป็น training set ของโมเดล instruction following ต่อไป; ทำการ Finetune ด้วย LoRA บน V100 8 อัน
- ทดสอบให้มนุษย์ (จำนวน 5 คน) ลองประเมินพบว่าความถูกต้องและความสร้างสรรค์ของคำถาม (<human>) ดีกว่าคำตอบ (<bot>) อย่างมีนัยยะสำคัญ
- วิเคราะห์ข้อผิดพลาดพบว่ามีบางประโยคในคำตอบที่เป็นแพทเทิร์นซ้ำๆเยอะ เช่น Examples include: ทำให้คำตอบไม่มีความหลากหลายพอ

### แรงจูงในในการเข้าร่วมโครงการ (จากใบสมัครเข้าร่วมเมื่อ 10 สัปดาห์ที่แล้ว)

> แรกเริ่มเดิมทีอาจจะตั้งแต่ประถม ผมเป็นคนที่ชอบวิชาคณิตศาสตร์มาก ได้นั่งคิดเลขแก้โจทย์ปัญหาต่างๆ พอผมขึ้นมัธยมปลายก็ทำให้ผมได้ลองเขียนโปรแกรมลองเขียนโปรแกรมง่ายๆพัฒนตนเองไปเข้าค่ายต่างๆที่เกี่ยวกับการเขียนโปรแกรม จนมาลองสร้าง ai มันยากมาก แล้วมีอยู่วันนึงอาจเป็นช่วงเวลานี้ในปีที่แล้วที่ผมได้มาเห็น โครงการ aibuilder ซึ่งผมก็ได้สมัครไป แน่นอนครับสุดท้ายผมก็ไม่ติด จึงได้แค่ลองเรียนตามคลิปที่มีอยู่ใน youtube ของ aibuilder ซึ่งมันทำให้ผมอยากเข้าโครงการนี้ขึ้นไปอีกเพราะมันมีหลายคำถามเกิดขึ้นในหัวโดยที่ผมลองไป serch google ก็ยังไม่เข้าใจ ด้วยเหตุผลเหล่านี้ผมจึงอยากที่จะเข้าร่วมโครงการนี้ เพื่อที่จะได้หาเพื่อนที่มีความชอบคล้ายๆกัน และมีคนคอยช่วยตอบคำถามที่ผมสงสัยผมเคยเข้าร่วมกิจกรรมนึงที่เกี่ยวกับ ai จากแห่งนึง ซึ่งในคาบเรียนของค่ายนี้ครั้งสุดท้าย ก็ได้เริ่มในส่วนของเนื้อหา neural network ซึ่งมันเป็นอะไรที่ยากมาก เลยทำให้ผมได้ลองศึกษาเพิ่มเติมจาก youtube ก็ได้ไปเจอกับคลิปของ 3blue1brown มันทำให้ผมรู้สึกได้ถึงความมหัศจรรย์ของ ai ที่มันสามารถทำอะไรที่ซับซ้อนมากๆ แต่กลับใช้แค่คณิตศาสตร์ แต่มันก็เป็นเพียงแค่พื้นฐาน พอผมได้มาดูคลิปของ ai builder มันก็ผมนั้นรู้สึกอยากเข้าโครงการนี้ขึ้นมาแน่นอนครับแรงบรรดาลใจที่ทำให้ผมอยากเข้าโครงการ aibuilder ก็คือ aibuilder เพราะ aibuilder ได้สอนในสิ่งที่สุดยอดมากๆสำหรับผมในชีวิต มัธยมปลาย
    

conversation generation

โดย Krittiwit Kampradam • มัธยมศึกษาปีที่ 6.0 -- กรุงเทพมหานคร