Thách thức giả thuyết siêu vị trí mạng nơ-ron thông qua phân tích nơ-ron trực tiếp
Một bài luận có ảnh hưởng của cựu nhà nghiên cứu OpenAI Nick Cammarata đã thách thức học thuyết về siêu vị trí mạng nơ-ron, chứng minh thông qua các biểu đồ tương tác rằng các mô hình hiện đại có thể được hiểu bằng cách nghiên cứu trực tiếp các nơ-ron riêng lẻ. Nếu tính hợp lệ được xác thực, phát hiện này cho thấy khả năng giải mã AI dễ tiếp cận hơn nhiều so với suy nghĩ trước đây, qua đó giúp các nhà nghiên cứu giám sát độ an toàn của mô hình và phát hiện lý luận lừa dối bằng cách đọc trực tiếp các trạng thái kích hoạt bên trong. Nghiên cứu phân tích các mô hình ngôn ngữ lớn hiện đại như Qwen3 32B và Kimi K3, ước tính rằng khoảng 90% nơ-ron của chúng có một chức năng chính duy nhất thay vì bị chồng chéo phức tạp.
## KIẾN THỨC NỀN
Siêu vị trí là giả thuyết cho rằng các mạng nơ-ron dồn nén nhiều khái niệm không liên quan vào cùng một nơ-ron đơn lẻ để tiết kiệm không gian chiều. Về mặt lịch sử, hành vi đa nghĩa này đã khiến các nhà nghiên cứu phải phụ thuộc lớn vào các phương pháp bổ trợ như bộ tự mã hóa thưa (sparse autoencoders) để gỡ rối mô hình thay vì phân tích trực tiếp các nơ-ron.