Quân đội Mỹ suýt gặp thảm họa do báo cáo tình báo AI bịa đặt
Quân đội Mỹ vừa trải qua một sự cố cận kề thảm họa tác chiến sau khi công cụ AI tạo sinh bịa đặt thông tin tình báo giả về một mục tiêu. Thông tin sai lệch này suýt nữa đã ảnh hưởng đến các quyết định quân sự chiến lược trước khi sự can thiệp và xác minh của con người kịp thời ngăn chặn. Sự cố này nhấn mạnh rủi ro vô cùng nghiêm trọng khi tích hợp AI tạo sinh vào quy trình quốc phòng và an ninh quốc gia mà thiếu sự giám sát chặt chẽ của con người. Nó chứng minh rằng các câu trả lời tự tin của AI không thể được tin tưởng mù mịt trong các quyết định quan trọng liên quan đến tính mạng con người. Vấn đề bắt nguồn từ hiện tượng ảo giác (hallucination) của LLM, khi mô hình AI tạo ra các kết quả nghe rất thuyết phục nhưng lại hoàn toàn vô căn cứ hoặc bịa đặt. Nhân viên quân sự đã coi hệ thống như một nguồn dữ liệu cập nhật thời gian thực, tạo ra kẽ hở không chỉ cho lỗi thuật toán mà còn cho các cuộc tấn công chèn câu lệnh (prompt injection) từ đối tượng bị giám sát.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn (LLM) hoạt động dựa trên khớp mẫu xác suất để tạo ra văn bản mượt mà thay vì truy xuất sự thật đã được xác minh, điều này thường xuyên dẫn đến hiện tượng "ảo giác". Trong các đánh giá kỹ thuật, nghiên cứu phân biệt giữa lỗi tính thực tế (tuyên bố không dựa trên sự thật khách quan) và lỗi tính trung thực (tuyên bố không nhất quán với ngữ cảnh được cung cấp). Trước đây, các vụ ảo giác nghiêm trọng từng xảy ra trong hồ sơ pháp lý và hệ thống chăm sóc khách hàng, nhưng việc đưa AI vào ứng dụng quốc phòng mang lại những rủi ro thực tế chưa từng có.