Trợ lý lập trình AI chống lại thành công cuộc tấn công chèn lệnh giả mạo

Một nhà phát triển sử dụng trợ lý lập trình AI opencode đã chia sẻ trường hợp mô hình ngôn ngữ lớn (LLM) tự động nhận diện và chống lại một lời nhắc hệ thống giả mạo được thiết kế như một cuộc tấn công chèn lệnh. Mô hình đã nhận ra hướng dẫn độc hại nhằm gọi một kỹ năng không tồn tại là một tập lệnh bị chèn vào và quyết định phớt lờ nó. Sự việc này làm nổi bật các lỗ hổng bảo mật thực tế vốn có trong các hệ thống AI tác nhân, đồng thời cho thấy độ vững vàng ngày càng tăng của các mô hình LLM hiện đại trước các cuộc tấn công chèn lệnh gián tiếp. Khi các nhà phát triển ngày càng phụ thuộc vào công cụ AI tương tác với dữ liệu và môi trường bên ngoài, các cơ chế an toàn tích hợp đóng vai trò vô cùng quan trọng. Lời nhắc bị chèn tuyên bố rằng một phiên làm việc đang ở trạng thái rảnh và ra lệnh cho LLM ngay lập tức gọi một kỹ năng giả mạo mang tên 'reminder idel-skills'. Tuy nhiên, mô hình đã phân tích ngữ cảnh, gắn cờ đây là một hướng dẫn không có thẩm quyền và tiếp tục nhiệm vụ ban đầu mà không làm lộ hành vi nhạy cảm hay thực thi lệnh độc hại.