Continual learning with structure compression and knowledge transfer

Abstract

Giải quyết các thách thức trong học liên tục (Continual Learning - CL), bao gồm cân bằng giữa tính dẻo (học nhiệm vụ mới) và tính ổn định (giữ lại kiến thức cũ), cũng như chuyển giao kiến thức có chọn lọc. Đề xuất hai phương pháp chính để khắc phục giới hạn bộ nhớ: Hệ thống học bổ sung dẻo (PS-CLS), mô phỏng cơ chế ghi nhớ ngắn hạn và dài hạn của não bộ, và Cắt tỉa khả vi tại khởi tạo (DPaI), giúp tối ưu hóa việc cắt giảm mạng nơ-ron. Thực nghiệm trên nhiều tập dữ liệu cho thấy các phương pháp này cải thiện hiệu suất học liên tục.