Bài báo
Bộ chuẩn đánh giá 'tìm kiếm bài báo truyền cảm hứng' do 184 nhà nghiên cứu tạo ra
ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research
- Nội dung
- Chúng tôi đã tạo ra ScholarCatalyst, một tập dữ liệu trong đó các tác giả chính của 207 bài báo khoa học máy tính gần đây đã chỉ ra những bài báo trước đó thực sự giúp ích cho nghiên cứu của họ, đồng thời đưa ra một nhiệm vụ truy xuất để tìm ra chúng.
- Kết quả chính
- Tìm kiếm theo tác tử (AI tự lặp lại các tác vụ để thực hiện nhiệm vụ) không cho thấy hiệu suất tốt hơn các phương pháp tìm kiếm cơ bản (độ thu hồi 0,42 so với 0,48 dựa trên 20 kết quả hàng đầu). Các tác tử dựa trên Claude Fable 5.1 chỉ đạt 0,51.
- Ý nghĩa
- Điều này cho thấy AI hiện tại vẫn thiếu trực giác chuyên môn cần thiết để nhận ra các ý tưởng tiền đề cần thiết từ lượng tài liệu nghiên cứu khổng lồ, chỉ ra nhu cầu về các phương pháp huấn luyện mới. Mặc dù điều này có thể được xem là một bước tiến cho AI hỗ trợ nghiên cứu khoa học, nhưng hiệu quả thương mại hóa thực tế hoặc tác động công nghiệp không thể được xác nhận từ phần tóm tắt.Tóm tắt AI
