Công cụ khử kiểm duyệt thời gian thực AbliteratedOutTheBox được tích hợp lên Strata
Lập trình viên heterodoxin đã phát hành một bản tích hợp thử nghiệm của AbliteratedOutTheBox cho Strata, phát triển dựa trên nhánh rẽ llama.cpp trước đó của họ. Công cụ này thực hiện việc khử kiểm duyệt thời gian thực trực tiếp trên các mô hình khi chúng được tải mà không yêu cầu tinh chỉnh hay tệp bổ sung. Sự phát triển này cho phép người dùng mô hình ngôn ngữ lớn cục bộ chạy các mô hình đã được khử kiểm duyệt một cách động mà không tiêu tốn nhiều bộ nhớ VRAM hay gặp rắc rối trong việc tiền xử lý trọng số. Nó giúp đơn giản hóa việc tiếp cận các đầu ra mô hình không bị giới hạn trong hệ sinh thái Strata. Bản tích hợp trên Strata hiện được đánh dấu là thử nghiệm, đồng nghĩa với việc hành vi của toàn bộ mô hình và chất lượng phản hồi vẫn cần được kiểm chứng. Người dùng quan tâm đến việc thử nghiệm có thể truy cập mã nguồn qua kho lưu trữ GitHub chính thức.
## KIẾN THỨC NỀN
Khử kiểm duyệt mô hình là một kỹ thuật dùng để thay đổi mô hình sau khi huấn luyện bằng cách kìm hãm các cơ chế bên trong hoặc hướng từ chối nhằm giảm thiểu hành vi từ chối đồng thời duy trì các năng lực cốt lõi. Llama.cpp là một framework phổ biến để chạy các mô hình ngôn ngữ lớn cục bộ với hiệu suất cao trên phần cứng phổ thông.