IBM huấn luyện các mô hình nguồn mở nhỏ để bỏ qua lệnh ẩn trong tài liệu
IBM đã phát triển và huấn luyện hai mô hình nguồn mở nhỏ được thiết kế đặc biệt để kháng cự và bỏ qua các chỉ thị độc hại ẩn được nhúng bên trong tài liệu. Sự phát triển này giải quyết một lỗ hổng bảo mật quan trọng trong các hệ thống trí tuệ nhân tạo, giúp ngăn chặn việc thao túng trái phép các mô hình ngôn ngữ trong môi trường doanh nghiệp và triển khai cục bộ. Bản phát hành này tập trung vào các mô hình ngôn ngữ nguồn mở có kích thước nhỏ, vốn thường dễ bị tổn thương trước các cuộc tấn công prompt injection do năng lực phân biệt giữa chỉ thị đáng tin cậy và nội dung không đáng tin cậy còn hạn chế.
## KIẾN THỨC NỀN
Prompt injection là một lỗ hổng an ninh mạng trong đó kẻ tấn công nhúng các chỉ thị ẩn bên trong dữ liệu đầu vào hoặc tài liệu nhằm ghi đè lên hành vi hệ thống dự định của mô hình AI. Kiểu khai thác này tận dụng điểm yếu của mô hình trong việc phân biệt giữa các chỉ thị do lập trình viên định nghĩa và dữ liệu bên ngoài không đáng tin cậy.