~/LOCALLLAMA/unified-27b-local-agent-model-combines-vision-routing-and-abliteration

Mô hình tác nhân cục bộ 27B hợp nhất kết hợp thị giác, định tuyến và abliteration

Các nhà phát triển đã phát hành Qwen3.8-27B-Perplexing-Pegasus-Heretic, một mô hình mã nguồn mở 27B hợp nhất dành cho các hệ thống tác nhân cục bộ, kết hợp thị giác đa phương thức, định tuyến quyết định có kiểu dữ liệu và khả năng xử lý từ chối abliteration vào một điểm kiểm tra duy nhất. Mô hình này được cung cấp qua các định dạng GGUF, AutoRound và NVFP4 để hỗ trợ nhiều cấu hình phần cứng khác nhau. Bản phát hành này giúp giảm đáng kể lượng VRAM và tài nguyên bộ nhớ cần thiết cho các quy trình tác nhân AI cục bộ bằng cách loại bỏ nhu cầu chạy đồng thời nhiều mô hình riêng biệt cho thị giác, định tuyến và thực thi không kiểm duyệt. Điều này cho phép các tác vụ tự động hóa web phức tạp chạy hiệu quả trên phần cứng phổ thông của người dùng. Mô hình này giữ lại toàn bộ 15 tensor dự đoán đa token và đạt 0/8 bài kiểm tra từ chối trong khi vẫn duy trì sự đồng thuận quyết định có kiểu dữ liệu đạt 100%. Mô hình có thể chạy trên các GPU tiêu dùng có dung lượng VRAM từ 16GB đến 24GB tùy thuộc vào phương pháp lượng tử hóa được chọn.

## KIẾN THỨC NỀN

Mô hình abliterated là một mô hình ngôn ngữ mở mà hành vi từ chối của nó đã được loại bỏ trực tiếp khỏi trọng số mà không cần huấn luyện lại, giúp ngăn chặn các phản hồi từ chối sai trong các quy trình làm việc thực tế. Các định dạng lượng tử hóa như GGUF, AutoRound và NVFP4 cho phép các mô hình AI lớn chạy trên phần cứng tiêu dùng thông thường bằng cách giảm độ chính xác của bộ nhớ mà vẫn giữ nguyên hiệu năng ở mức tối ưu.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#LocalLLaMA#Open Source Models#Multimodal AI#Model Merging#AI Agents

$ subscribe --daily