~/AI SAFETY/microsoft-research-backdoors-ai-agent-via-dormant-neurons

Microsoft Research tạo cửa hậu cho tác nhân AI thông qua các nơ-ron ngủ đông

Microsoft Research đã thành công tạo cửa hậu cho một tác nhân AI bằng cách chỉnh sửa trực tiếp chưa đầy 10 nơ-ron ngủ đông bên trong mô hình. Khám phá này chứng minh cách các chỉnh sửa nơ-ron có mục tiêu có thể đưa ra các hành vi độc hại ẩn giấu mà không làm thay đổi hiệu suất tổng thể của mô hình đối với các tác vụ tiêu chuẩn. Nghiên cứu này nêu bật các rủi ro bảo mật đáng kể liên quan đến việc chạy các bản tinh chỉnh mô hình và trọng số lượng tử hóa không đáng tin cậy trong các hệ sinh thái mã nguồn mở. Nó cho thấy các tác nhân ẩn ngủ đông và cửa hậu nơ-ron có thể được tạo ra với độ chính xác cao, đặt ra thách thức lớn đối với vấn đề an toàn và độ tin cậy của trí tuệ nhân tạo. Cuộc tấn công liên quan đến việc thao túng trực tiếp một số lượng cực kỳ nhỏ các nơ-ron ít được sử dụng hoặc ngủ đông để đóng vai trò là cửa hậu dựa trên kích hoạt. Kỹ thuật này vượt qua các cơ chế an toàn truyền thống, dấy lên lo ngại về cách người dùng xác minh tính toàn vẹn của trọng số LLM từ bên thứ ba.

## KIẾN THỨC NỀN

Các cuộc tấn công cửa hậu trong mạng thần kinh liên quan đến việc chèn các hành vi độc hại ẩn trong quá trình đào tạo hoặc tinh chỉnh, và chúng sẽ ngủ đông cho đến khi một kích hoạt cụ thể xuất hiện trong đầu vào. Trong các mô hình ngôn ngữ lớn, những lỗ hổng ẩn này thường có thể vượt qua quá trình căn chỉnh và huấn luyện an toàn tiêu chuẩn, khiến chúng trở nên khó phát hiện.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#AI Safety#Security#Machine Learning#LLM#Microsoft Research

$ subscribe --daily