Mistral AI ra mắt Shieldstral-1.0-3B, mô hình kiểm duyệt an toàn đa phương thức nhỏ gọn
Mistral AI đã phát hành Shieldstral-1.0-3B, một mô hình phân loại an toàn đa phương thức nhỏ gọn với 3 tỷ tham số được thiết kế để kiểm duyệt nội dung. Mô hình này có thể phân tích văn bản, hình ảnh và đầu vào kết hợp để phát hiện các vi phạm an toàn dựa trên các chính sách bằng ngôn ngữ tự nhiên. Khi việc triển khai LLM ngày càng phát triển, các rào cản an toàn (guardrails) là rất quan trọng để ngăn chặn đầu ra độc hại, tấn công prompt injection và rò rỉ dữ liệu. Shieldstral cung cấp một giải pháp thay thế mã nguồn mở (open-weights) và tiết kiệm tài nguyên so với các bộ lọc an toàn độc quyền, cho phép các nhà phát triển chạy kiểm duyệt cục bộ trên một GPU duy nhất. Mô hình sử dụng cơ chế đầu ra mã thông báo đơn (single-token), thực hiện phân loại trong một lượt xử lý duy nhất (forward pass) để đưa ra điểm tin cậy liên tục cho các quyết định nhị phân. Các nhà phát triển có thể viết các chính sách kiểm duyệt tùy chỉnh bằng ngôn ngữ tự nhiên tại thời điểm suy luận, giúp mô hình có khả năng thích ứng cao mà không cần huấn luyện lại.
## KIẾN THỨC NỀN
Rào cản an toàn cho LLM (LLM guardrails) là các cơ chế bảo vệ được triển khai nhằm nâng cao tính an toàn, độ tin cậy và sự liên kết đạo đức của các hệ thống AI. Chúng giám sát và lọc cả prompt của người dùng lẫn phản hồi của mô hình để ngăn chặn các rủi ro như tạo nội dung độc hại, thiên vị và các lỗ hổng bảo mật. Trước đây, các nhà phát triển thường phải phụ thuộc vào các API kiểm duyệt hoặc các mô hình lớn, tốn tài nguyên để thực thi các chính sách an toàn này.