การพัฒนาแอสวอร์ตแอล์สมีระบอบเพื่อประเมินความเสียงด้านความปลอดภัยของ AI agents

ที่มา

เมื่อ AI agents ถูกนำมาใช้อย่างแพร่หลายในการอทงอินต์งานอัตโมนัติที่มีความกันซ้ำ ความกันกลัวด้านความปลอดภัยเช่นการแหกิงหรือการรั่วเลิขข้อมูลก็เพิ่มสูงขั้นตมวยด้วย แตยังขาดสภาวังเรวิศเรวอาการประโมินความเสียหายของ agents ในแบบที่สมจริงและสามารถนำมาซ้ำได้

วิธีการ

กลุ่มนักวิจัยได้สร้าง "DecodingTrust-Agent Platform (DTap)" ซิ่งรวมถึง 14 สาหิการจริงและสภาวะจัำลองมากกว่า 50 แฮทชิอน นอกจากนี้ยังได้เสนอ "DTap-Red" ซิ่งเป็น AI agents โจมตีอัตโมนัติที่สำรวจเสเ้นทางการจูยโจมตีหลากหลายด้วยตัวเอง และได้สร้างชุดข้อมูลการโจมตีขนาดใหญ่ที่เรียกว่า "DTap-Bench"

ผลลัพธ์หลัก

จากการประโมิน AI agents ยอดนิยมหลากหลายรุ่นที่อิงตามโมเดลเป็นสเกลใหญ่ ทำให้สามารถค้นพบรูปแบบความบกพร่องเชิงระบบได้

ข้อจำกัดและประเด็นที่ควรตรวจสอบ

ในบทความย่อญนี้ ยังไม่มีการยืนยันแวนคแมนการพิสูจน์เชิงพาณิชย์ที่เฉพาะเจาะจงหรือความคุ้มค่าด้านต้นทุน

อธิบายศัพท์

• AI agents (อิน공지능 에이전트) — โปรเงรมปัญญาประดิษฐ์ที่ตัดสินใจและกระทำด้วยตนเองเพื่อปฏิบัติงานที่ซับซ้อน
• red-teaming (레드 티밍) — กระบวนการทึสอบความปลอมภัยจากมุมมองของผู้โจมตีเพื่อค้นหาจุดอ่อนของระบบ