Chạy Qwen 3.8 27B cục bộ để diễn giải trọng số mô hình mạng thần kinh

Simon Willison khám phá việc sử dụng mô hình Qwen 3.8 27B chạy cục bộ để diễn giải và suy luận trực tiếp về trọng số của mô hình mạng thần kinh. Thử nghiệm này điều tra xem các mô hình ngôn ngữ lớn hiện tại có khả năng hiểu được các cấu trúc trọng số phức tạp hay không. Khả năng này chạm đến khái niệm mới nổi về lập trình không gian trọng số, nơi các mô hình ngôn ngữ lớn có thể đọc và sửa đổi trọng số mạng thần kinh để tìm lỗi hoặc tối ưu hóa hiệu suất. Nó thu hẹp khoảng cách giữa các chu trình huấn luyện truyền thống và khả năng suy luận trực tiếp giống con người đối với các tham số học máy. Cuộc khám phá sử dụng Qwen 3.8 27B, một mô hình chắt lọc từ dòng mô hình Qwen của Alibaba chạy cục bộ. Điều này đặt ra câu hỏi liệu các mô hình có thể diễn giải chính xác trọng số của chính chúng hoặc trọng số của các mô hình nhỏ hơn như Qwen 3.5 0.8B hay không.