Mẫu CyberTiel 35B-A3B 4-bit Không Kiểm Duyệt Mang Lại Hiệu Suất Lập Trình Local Cao Và Nhanh
Một nhà nghiên cứu độc lập đã phát hành CyberTiel 35B-A3B, một mô hình ngôn ngữ local 4-bit không kiểm duyệt được tối ưu hóa cho các tác vụ kỹ thuật phần mềm agentic và an ninh mạng. Bằng cách sử dụng ma trận độ quan trọng (imatrix) tùy chỉnh, mô hình vượt qua Opus 4.6 medium trên các sự cố mã nguồn thực tế của SWE-bench-Live trong khi chạy nhanh hơn nhiều so với Qwen3.8-27b medium. Bản phát hành này chứng minh rằng việc định lượng (quantization) được áp dụng cẩn thận cùng hiệu chỉnh imatrix tùy chỉnh có thể bù đắp sự suy giảm hiệu suất thường do việc bỏ kiểm duyệt (abliteration) gây ra. Điều này giúp các nhà phát triển mã nguồn mở và nghiên cứu bảo mật sở hữu một mô hình local nhanh chóng, phục vụ công việc nghiên cứu an ninh mạng và lập trình thực tế mà không bị rào cản kiểm duyệt. Mô hình được định lượng xuống 4-bit (Q4) bằng cách sử dụng imatrix huấn luyện trên tập dữ liệu được tuyển chọn về an ninh mạng và quy trình kỹ thuật agentic để giữ lại các trọng số quan trọng. Hiện có sẵn trên Hugging Face dưới định dạng GGUF và MLX, CyberTiel chấp nhận đánh đổi một chút kiến thức chung để tối đa hóa tốc độ lập trình và khả năng giải quyết sự cố.
## KIẾN THỨC NỀN
Việc bỏ kiểm duyệt mô hình thông qua phương pháp abliteration giúp chỉnh sửa các trọng số bên trong để loại bỏ hành vi từ chối, nhưng có thể làm suy giảm khả năng suy luận nếu không thực hiện đúng cách. Định lượng (quantization) giúp giảm dung lượng bộ nhớ của LLM bằng cách chuyển đổi trọng số sang định dạng độ chính xác thấp hơn như 4-bit, trong khi ma trận độ quan trọng (imatrix) giúp đo lường mức độ quan trọng của các kích hoạt để giảm thiểu tổn thất chất lượng trong quá trình nén này.