วิเคราะห์ข้อจำกัดในการประเมินเอเจนต์บทสนทนาของผู้ตัดสินปัญญาประดิษฐ์

ที่มา

ในการประเมินเอเจนต์บทสนทนา การใช้โมเดลภาษาขนาดใหญ่เป็นผู้ตัดสินถือเป็นเรื่องปกติ แต่ความน่าเชื่อถือในการตรวจจับข้อบกพร่องจริงยังไม่ได้รับการตรวจสอบอย่างเพียงพอ

วิธีการ

ทำการเปรียบเทียบผลการตรวจสอบบันทึกการสนทนาก ารสั่งอาหารของเอเจนต์ที่ใช้งานจริงทั้งหมดโดยมนุษย์ กับการประเมินโดยผู้ตัดสินโมเดลภาษาขนาดใหญ่ที่ฝังอยู่ เป็นจำนวนสามครั้ง

ผลลัพธ์หลัก

ผู้ตัดสินสามารถจับปัญหาภายในบทสนทนากลุ่มเดี่ยวได้บางส่วน แต่พลาดข้อบกพร่องเชิงโครงสร้างที่ต้องติดตามสถานะข้ามหลายบทสนทนาอย่างเป็นระบบ

ข้อจำกัดและประเด็นที่ควรตรวจสอบ

จากบทคัดย่อยังไม่สามารถยืนยันได้ว่าปรากฏการณ์นี้เกิดขึ้นเช่นเดียวกันในเอเจนต์ของหมวดหมู่หรือโดเมนอื่นหรือไม่ หรือผลลัพธ์ที่ดีขึ้นจากการปรับเกณฑ์การประเมินเป็นอย่างไร

อธิบายศัพท์

• LLM-as-judge — เครื่องมือที่ใช้โมเดลภาษาขนาดใหญ่เป็นผู้ตัดสินเพื่อประเมินประสิทธิภาพหรือคุณภาพคำตอบของปัญญาประดิษฐ์
• 대화형 에이전트 — โปรแกรมปัญญาประดิษฐ์ที่สนทนากับมนุษย์และปฏิบัติงาน