Mistral AI Ra Mắt Shieldstral Giúp Kiểm Duyệt Nội Dung Và Thiết Lập Rào Cản Cho LLM

Mistral AI đã phát hành Shieldstral, một mô hình an toàn với 3 tỷ (3B) tham số được thiết kế để kiểm duyệt nội dung và thiết lập rào cản bảo vệ (guardrails) trong việc triển khai LLM. Mô hình này đánh giá văn bản và hình ảnh dựa trên các chính sách runtime và được phát hành dưới dạng trọng số mở (open weights) theo giấy phép Apache 2.0. Trong bối cảnh các ứng dụng AI tạo sinh đối mặt với các rủi ro như tấn công prompt injection và tạo nội dung độc hại, Shieldstral cung cấp cho các nhà phát triển một lớp phòng thủ chuyên biệt, mã nguồn mở để bảo vệ hệ thống của họ. Điều này giúp đảm bảo tính an toàn và tuân thủ mà không cần phụ thuộc hoàn toàn vào các API kiểm duyệt độc quyền. Shieldstral đơn giản hóa việc kiểm duyệt nội dung bằng cách chuyển đổi nó thành một tác vụ trả lời câu hỏi nhị phân, hợp nhất các thách thức kiểm duyệt khác nhau thành một bài toán có/không (yes/no) duy nhất. Mô hình này có khả năng phân tích cả văn bản và hình ảnh để thực thi các chính sách an toàn runtime.