Chạy mô hình DeepSeek-V4.1-Flash không kiểm duyệt trên 12GB VRAM
Các nhà nghiên cứu đã phát hành phiên bản lượng tử hóa không kiểm duyệt của mô hình DeepSeek-V4.1-Flash-1017 dành riêng cho phần cứng phổ thông có 12GB VRAM thông qua công cụ Strata. Bằng cách chỉnh sửa 82 tensor dày đặc cụ thể trong mỗi tệp mà vẫn giữ nguyên các chuyên gia định tuyến (routed experts), họ đã giảm tỷ lệ từ chối phản hồi từ khoảng 85% xuống gần như bằng không mà không làm suy giảm hiệu suất chuẩn. Bước đột phá này cho phép người dùng sở hữu phần cứng phổ thông khiêm tốn có thể chạy các mô hình ngôn ngữ lớn và mạnh mẽ ngay tại máy cục bộ đồng thời loại bỏ các rào cản căn chỉnh an toàn mang tính hạn chế. Nó minh họa một phương pháp chỉnh sửa mô hình chính xác giúp duy trì năng lực suy luận cốt lõi trong lúc thay đổi các lớp kiểm soát hành vi. Bản phát hành này được xây dựng dựa trên các định dạng lượng tử hóa GSQ-RCO của ISTA-DASLab và phụ thuộc vào bảng Engram lưu trữ trên ổ đĩa SSD kết hợp cùng 64GB RAM hệ thống. Quá trình kiểm thử cho thấy biến thể IQ2_XXS đạt được tỷ lệ từ chối bằng không trong khi vẫn giữ nguyên hiệu suất trên các bộ kiểm chuẩn khắt khe như MMLU, GPQA-Diamond và AIME25.
## KIẾN THỨC NỀN
DeepSeek-V4.1-Flash là một mô hình ngôn ngữ lớn theo kiến trúc Hỗn hợp chuyên gia (MoE) tiên tiến, tận dụng các kiến trúc bộ nhớ có điều kiện như bảng Engram để chuyển tải các yêu cầu thông số khổng lồ sang bộ nhớ lưu trữ SSD. GSQ (Gumbel Softmax Quantization) và RCO (Riemannian Constrained Optimization) là các kỹ thuật nén mô hình do ISTA-DASLab phát triển nhằm tối ưu hóa độ rộng bit cho từng phần nhằm bảo toàn độ chính xác của mô hình.