Các mô hình ngôn ngữ lớn trọng số mở khám phá khả năng dự đoán chỉnh sửa trọng số mà không cần thực thi
Các nhà nghiên cứu đã thử nghiệm phương pháp đọc không gian trọng số bằng các mô hình như Qwen và Muse (từ 9B đến 30B) để dự đoán các thay đổi hành vi từ việc chỉnh sửa trọng số mô hình mà không cần chạy mô hình mục tiêu. Tác giả đã phát hành bộ công cụ đánh giá, mã nguồn thử nghiệm và một bộ công cụ nguồn mở dành cho việc lập trình và đọc không gian trọng số dựa trên mô hình ngôn ngữ lớn. Nghiên cứu này khám phá một mô hình mới, nơi các mô hình ngôn ngữ lớn trực tiếp diễn giải và phân tích các trọng số mạng thần kinh thô, có khả năng bỏ qua các bước đánh giá tốn kém khi chạy mô hình. Điều này mang lại những góc nhìn sâu sắc về lập trình không gian trọng số và khả năng diễn giải mô hình nâng cao. Các thí nghiệm cho thấy mô hình Qwen 27B đạt độ chính xác cân bằng 73,0% đối với các chỉnh sửa tinh vi khi có quyền truy cập trọng số, so với 57,8% từ các mô tả văn bản. Tuy nhiên, các mô hình tự đọc trọng số của chính chúng không cho thấy lợi thế rõ ràng, và các tác nhân thường dự đoán thay đổi hành vi ngay cả khi các chỉnh sửa tiêu chuẩn không tạo ra biến đổi nào có thể phát hiện được.
## KIẾN THỨC NỀN
Lập trình không gian trọng số là một phương pháp học máy trong đó một mô hình ngôn ngữ lớn đa năng đọc, diễn giải và viết trực tiếp trọng số của một mạng thần kinh khác mà không cần sử dụng phương pháp hạ gradient hoặc vòng lặp huấn luyện. Các mô hình ngôn ngữ lớn trọng số mở là những mô hình có trọng số tham số mạng thần kinh được công khai cho nghiên cứu và triển khai cục bộ dưới các giấy phép cụ thể.