LLM có khả năng đọc và ghi trực tiếp trọng số mạng nơ-ron
Các nhà nghiên cứu đã giới thiệu khái niệm 'Lập trình không gian trọng số' (Weight-Space Programming), chứng minh rằng các mô hình ngôn ngữ tiên tiến có thể tự nhiên diễn giải và chỉnh sửa trọng số mạng nơ-ron thô mà không cần các vòng lặp huấn luyện gradient truyền thống. Bằng cách sử dụng GPT-6 Astra, mô hình đã viết thành công các mạng chơi trò chơi từ đầu và khắc phục các lỗi suy luận trong Qwen3.5-0.8B bằng cách chỉnh sửa trực tiếp một phần rất nhỏ trọng số của nó. Bước đột phá này đại diện cho sự thay đổi mô hình từ các bộ tối ưu hóa ký hiệu đơn giản như Adam sang tối ưu hóa trọng số do AI điều khiển, có khả năng chuyển đổi tính dễ diễn giải cơ học và giảm chi phí tối ưu hóa mô hình. Nó mở ra những khả năng mới cho việc điều khiển năng lực không cần dữ liệu, kiểm toán mô hình không cần đánh giá và khả năng tự cải thiện đệ quy trực tiếp. Bằng cách chỉnh sửa chỉ 0,016% trọng số của Qwen3.5-0.8B, Astra đã nâng điểm số MATH-500 của mô hình này từ 7,9% lên 48,1% và tăng gấp ba lần hiệu suất tuân thủ hướng dẫn IFEval trong cùng điều kiện cài đặt lấy mẫu. Phương pháp này cho phép các mô hình suy luận về những gì mỗi phần của mạng nơ-ron tính toán và điều chỉnh trọng số cho phù hợp để tránh hiện tượng quên thảm khốc.
## KIẾN THỨC NỀN
Trọng số mạng nơ-ron là các tham số số học được điều chỉnh trong quá trình huấn luyện để giúp mô hình học các mẫu và đưa ra dự đoán. Proximal Policy Optimization (PPO) là một thuật toán học tăng cường phổ biến được sử dụng để huấn luyện các tác nhân thông minh bằng cách cập nhật chính sách đồng thời ngăn chặn các cập nhật không ổn định, mặc dù kỹ thuật mới bỏ qua quá trình huấn luyện truyền thống như vậy.