Phát triển kiến trúc mạng thần kinh nhân tạo mới tách biệt bộ nhớ ngắn hạn và dài hạn

Bối cảnh

Các mạng thần kinh hồi tiếp truyền thống nén thông tin thành một trạng thái véc-tơ duy nhất, dẫn đến hạn chế là tính toán ngắn hạn và bảo tồn dài hạn phải chia sẻ chung một biểu diễn. Các phương pháp mở rộng trước đây đã tăng dung lượng bộ nhớ hoặc chia nhỏ các đơn vị thời gian, nhưng lại thiếu đi sự kết hợp giữa xử lý tốc độ cao cấp độ tế bào thần kinh và bảo tồn dài hạn vốn có trong sinh học.

Phương pháp

Các nhà nghiên cứu đã giới thiệu Continuous Memory Machines, một cấu trúc hồi tiếp dạng ma trận trong đó các trạng thái bộ nhớ ngắn hạn và dài hạn đảm nhận các vai trò khác nhau. Bộ nhớ ngắn hạn theo dõi hoạt động thần kinh gần đây, bộ nhớ dài hạn bền vững lưu trữ thông tin để sử dụng sau này, và Transformer cập nhật cả hai bộ nhớ cùng nhau để cho phép đọc và ghi hai chiều.

Kết quả chính

Trong các tác vụ thuật toán, học trong ngữ cảnh và suy luận lặp lại, Continuous Memory Machines đã vượt qua nhiều mô hình cơ sở khác nhau. Nó cho thấy khả năng tổng quát hóa mạnh mẽ hơn so với các mạng tăng cường bộ nhớ trước đây trong khi vẫn duy trì các mẫu chú ý có thể giải thích được của các mô hình hiện có.

Hạn chế & điểm cần xác minh

Bản tóm tắt không nêu rõ các ràng buộc cụ thể hoặc hạn chế về hiệu suất đối với việc thương mại hóa thực tế hoặc các ứng dụng trong lĩnh vực công nghiệp.

Giải thích thuật ngữ

• 반복 신경망 — Kiến trúc mạng thần kinh nhân tạo tận dụng bộ nhớ trước đó trong các phép tính tiếp theo khi xử lý dữ liệu tuần tự.
• 트랜스포머 — Kiến trúc mô hình trí tuệ nhân tạo xuất sắc trong việc hiểu ngữ cảnh bằng cách nắm bắt mối quan hệ của toàn bộ dữ liệu cùng một lúc.