Đo lường mức độ dễ dàng của AI trong việc nảy ra các ý tưởng nghiên cứu trong tương lai

Bối cảnh

Liệu các mô hình AI có thể tạo ra các ý tưởng nghiên cứu mới hay không là một câu hỏi quan trọng, nhưng xác suất một mô hình nghĩ ra một ý tưởng cụ thể có thể cực kỳ nhỏ. Việc đo lường trực tiếp xác suất này đòi hỏi phải lặp lại câu hỏi đó vô số lần, rất tốn kém.

Phương pháp

Các nhà nghiên cứu đã sử dụng khái niệm 'chi phí nén'. Một mô hình tạo sinh (bộ tạo) đặt các câu hỏi trắc nghiệm liên tiếp và cung cấp xác suất cho mỗi câu trả lời, trong khi mô hình hướng dẫn biết trước ý tưởng mục tiêu sẽ chọn câu trả lời. Xác suất của câu trả lời được chọn càng thấp thì càng cần nhiều thông tin (bit), và chi phí tích lũy này được dùng để tính cận dưới của xác suất tự nảy ra ý tưởng mà không cần gợi ý. Năm mô hình đã được sử dụng để đánh giá, và tính đúng đắn của ý tưởng được phán quyết bởi một LLM khác.

Kết quả chính

Chi phí nén trung vị thấp nhất là 69,9 bit thuộc về mô hình Fable 5.1. Một tập hợp (ensemble) kết hợp ba mô hình Fable 5.1, Opus 5 và Astra với trọng số như nhau được báo cáo là đã giảm chi phí trung vị xuống còn 55.8 bit và cải thiện cận dưới xác suất lên 18.000 lần.

Hạn chế & điểm cần xác minh

Chỉ riêng qua phần tóm tắt thì không thể xác minh các tiêu chí lựa chọn bài báo, độ tin cậy của việc đánh giá bằng LLM, hay cấu hình chi tiết của các mô hình thí nghiệm. Ngoài ra, phần tóm tắt cũng không xác nhận được chi phí nén phản ánh giá trị nghiên cứu thực tế hoặc tính mới tốt đến mức nào.

Giải thích thuật ngữ

• Mô hình ngôn ngữ — Mô hình AI học hỏi từ lượng lớn văn bản để tạo ra các câu.
• Chi phí nén — Lượng thông tin bổ sung cần gửi để truyền tải một nội dung nhất định; giá trị này càng nhỏ thì mô hình càng dễ nảy ra nội dung đó.
• Bit — Đơn vị nhỏ nhất để đo lượng thông tin, trong đó một lựa chọn có/không tương đương 1 bit.
• Cận dưới — Mức tối thiểu được đảm bảo là không nhỏ hơn giá trị thực tế.
• gzip — Công cụ nén tệp không mất dữ liệu được sử dụng rộng rãi, ở đây dùng làm chuẩn so sánh.
• LLM chấm điểm (LLM-as-judge) — Phương pháp giao cho một mô hình ngôn ngữ khác, thay vì con người, đánh giá xem hai kết quả có tương đương nhau hay không.
• Tập hợp (Ensemble) — Phương pháp nâng cao hiệu suất bằng cách kết hợp kết quả từ nhiều mô hình.