นักวิจัยเสนอ ำรอบสำหรับประเมินวิธีการกำกับดูแลคำตอบของ AI ด้วยการรันโค้ด

ที่มา

โมเดลการอนุมานสามารถแก้ปัญหาที่ยากได้ แต่บางครั้งมีแนวโน้มที่จะเลือกทางลัดที่มีต้นทุนต่ำกว่าแต่ก็มีโอกาสผิดพลาดได้ ด้วยเหตุนี้ ปัญหาการกำกับดูแลเพื่อตัดสินว่าคำตอบนั้นดูสมเหตุสมผลแล้วควรค่าแก่การเชื่อถือหรือไม่จึงมีความสำคัญ

วิธีการ

นักวิจัยได้ใช้โปรแกรม Python ที่ถูกติดตั้งเครื่องมือวัดเพื่อบันทึกกระบวนการทำงานให้เป็นรากฐานที่ตรวจสอบได้ โปรแกรมเป็นตัวกำหนดสภาพแวดล้อมของงาน และบันทึกการทำงานจะให้คำตอบที่ถูกต้องสำหรับผลลัพธ์และข้อเท็จจริงระหว่างทาง มีการสร้างบันทึกการทำงานประมาณ 1 ล้านรายการและโค้ดที่สร้างโดย LLM มากกว่า 500,000 รูปแบบเพื่อใช้ในการประเมินแบบ Counterfactual และฝึกฝนโมเดลที่ใช้ทางลัดด้วย Reinforcement Learning ที่มีรางวัลตรวจสอบได้

ผลลัพธ์หลัก

โมเดลที่ตามทางลัดมีการทำนายผลลัพธ์การรันที่ดีขึ้นอย่างมาก แต่ยังคงแสดงข้อผิดพลาดที่เป็นระบบเมื่อเบาะแสความเข้าใจผิดที่แสดงต่อมนุษย์ไม่ตรงกับการทำงานจริง ได้มีการเปรียบเทียบผู้กำกับดูแลประเภท Activation Probes ตัวจำแนกข้อความ ตัวตัดสินใจที่ใช้ Prompt และโปรโตคอลการโต้วาทีแบบง่ายๆ พร้อมทั้งรายงานว่าประสิทธิภาพเฉลี่ยของชุดข้อมูลทั้งหมดอาจปกปิดอัตราการตรวจจับที่ต่ำของประเภทความผิดพลาดที่สำคัญ ผู้กำกับดูแลแบบเรียนรู้ที่มีต้นทุนต่ำมักจะพลาดข้อผิดพลาดจากทางลัดที่พบน้อย การตรวจสอบโดยอาศัยโมเดลมีความสมดุลมากกว่าแต่มีต้นทุนที่สูงกว่ามากและยากที่จะทำให้เป็นการตัดสินใจที่อาศัย Threshold ที่น่าเชื่อถือ

ข้อจำกัดและประเด็นที่ควรตรวจสอบ

บทคัดย่องدเน้นการทดลองเวอร์ชัน v1 และการเสนอเฟรม워크 โดยไม่สามารถยืนยันประสิทธิภาพในการทำงานจริงหรือสภาพแวดล้อมบริการจริงได้ ตัวเลขที่เฉพาะเจาะจงเกี่ยวกับต้นทุนหรือความแม่นยำของผู้กำกับดูแลแต่ละรายก็ไม่ได้ปรากฏในบทคัดย่อเช่นกัน

อธิบายศัพท์

• โมเดลการอนุมาน — โมเดล AI ที่คิดวิเคราะห์ทีละขั้นตอนเพื่อหาคำตอบ
• ทางลัด (shortcut) — วิธีการที่ให้คำตอบอย่างรวดเร็วโดยไม่ต้องผ่านกระบวนการที่ถูกต้อง แต่อาจผิดพลาดได้
• การกำกับดูแล (oversight) — งานที่มนุษย์หรือระบบอื่นตรวจสอบคำตอบของ AI และตัดสินใจว่าจะเชื่อถือหรือไม่
• บันทึกการทำงาน (execution trace) — บันทึกทีละขั้นตอนที่ทิ้งไว้ในระหว่างที่โปรแกรมกำลังทำงาน
• การประเมินแบบ Counterfactual — วิธีการประเมินที่พิจารณาว่าผลลัพธ์จะเปลี่ยนไปอย่างไรเมื่อเปลี่ยนเงื่อนไขบางอย่าง
• การเรียนรู้เสริมแรงด้วยรางวัลที่ตรวจสอบได้ — วิธีการฝึกโมเดลโดยให้รางวัลที่สามารถตรวจสอบความถูกต้องได้โดยอัตโนมัติ
• Activation Probes — เครื่องมือวิเคราะห์ขนาดเล็กที่อ่านสัญญาณภายในของโมเดลเพื่อ 9ราบสถานะเฉพาะ
• โปรโตคอลการโต้วาที — ขั้นตอนที่ให้ AI สองตัวแลกเปลี่ยนข้อโต้แย้งกันเพื่อช่วยในการตัดสินใจ
• การตัดสินใจโดยอาศัย Threshold — วิธีการตัดสินผ่านหรือไม่ผ่านขึ้นอยู่กับว่าคะแนนเกินเส้นมาตรฐานที่กำหนดไว้หรือไม่