~/LLM/discovering-gemma-31b-latent-neurons-and-exporting-steering-vectors-for-llama-cpp

Khám phá các tế bào thần kinh ẩn của Gemma-31B và xuất vector điều hướng cho Llama.cpp

Một nhà nghiên cứu đã phát hiện ra rằng các hành vi quan tâm và coi thường trong mô hình Gemma-31B được kiểm soát bởi đúng 3 tế bào thần kinh nằm trong không gian ẩn của nó. Họ cũng chia sẻ phương pháp thực tế để tìm kiếm các công thức điều hướng tùy chỉnh và xuất chúng thành các vector điều hướng định dạng GGUF tương thích với llama.cpp. Khám phá này mang lại những hiểu biết quý giá về khả năng diễn giải cơ chế, chứng minh cách các thành phần bên trong cụ thể của mô hình ngôn ngữ lớn chi phối trực tiếp các đặc điểm tâm lý hoặc hành vi phức tạp. Hơn nữa, việc cho phép sử dụng vector điều hướng tùy chỉnh trong llama.cpp giúp cộng đồng AI cá nhân dễ dàng thao túng hành vi của mô hình mà không cần tinh chỉnh tốn kém. Bài viết chi tiết cách cô lập các hướng không gian ẩn chính xác và chuyển đổi chúng thành các vector điều hướng có thể áp dụng trực tiếp trong quá trình suy luận mô hình cục bộ. Điều này thu hẹp khoảng cách giữa nghiên cứu diễn giải cơ chế nâng cao và các công cụ triển khai cục bộ dễ tiếp cận như GGUF và llama.cpp.

## KIẾN THỨC NỀN

Khả năng diễn giải cơ chế là một lĩnh vực con trong an toàn và nghiên cứu AI nhằm đảo ngược kỹ thuật mạng nơ-ron bằng cách hiểu rõ chức năng của từng tế bào thần kinh hoặc mạch điện riêng lẻ. Vector điều hướng là các hướng cộng tính đã học hoặc được khám phá, được tiêm vào các trạng thái ẩn của mô hình để thay đổi hành vi đầu ra một cách đáng tin cậy mà không cần huấn luyện lại trọng số.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#LLM#Mechanistic Interpretability#Steering Vectors#LocalLLaMA#AI Safety

$ subscribe --daily