งานวิจัย
Benchmark 'ค้นหา paper ที่สร้างแรงบันดาลใจ' จัดทำโดยนักวิจัย 184 คน
ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
- ทำอะไร
- สร้างชุดข้อมูล ScholarCatalyst ซึ่งรวบรวมโดยนักวิจัยผู้เป็นชื่อแรก 184 คนจาก paper ด้านวิทยาการคอมพิวเตอร์ล่าสุด 207 ฉบับ โดยระบุว่า paper ก่อนหน้าฉบับใดที่มีประโยชน์ต่อการวิจัยของตนจริงๆ และได้นำเสนอโจทย์การค้นหา paper เหล่านี้
- ผลลัพธ์หลัก
- การค้นหาด้วยเอเจนต์ (AI ที่ทำงานโดยทำซ้ำการค้นหาด้วยตนเอง) ไม่ได้แสดง performance ที่ดีกว่าวิธีการค้นหาพื้นฐาน (Recall ที่ผลลัพธ์ 20 อันดับแรก 0.42 ต่อ 0.48) เอเจนต์ที่ใช้ Claude Fable 5.1 ก็ทำได้เพียง 0.51
- ความสำคัญ
- แสดงให้เห็นว่าปัจจุบัน AI ยังขาดสัญชาตญาณของผู้เชี่ยวชาญในการมองหาไอเดียล่วงหน้าที่จำเป็นจากวรรณกรรมวิจัยจำนวนมหาศาล และชี้ให้เห็นทิศทางว่าจำเป็นต้องมีวิธีการเรียนรู้ใหม่เพื่อสิ่งนี้ ถือเป็นอีกขั้นหนึ่งของการวิจัย AI ที่ช่วยสนับสนุนการวิจัยทางวิทยาศาสตร์ แต่ไม่สามารถยืนยันผลลัพธ์เชิงพาณิชย์หรืออุตสาหกรรมจริงได้จากบทคัดย่อสรุปโดย AI
