Nhà phát triển dùng LLM không kiểm duyệt để tránh rào cản an toàn AI quá mức

Một nhà phát triển đã chia sẻ việc chuyển sang sử dụng mô hình AI tinh chỉnh không kiểm duyệt để khắc phục tình trạng bị từ chối nhầm bởi các rào cản an toàn của LLM tiêu chuẩn khi lập trình. Mặc dù mô hình này được tối ưu cho việc nhập vai thay vì viết mã, nó vẫn xử lý tốt các yêu cầu công việc liên quan đến mã nguồn chia sẻ mà không từ chối. Sự căn chỉnh an toàn quá mức trên các mô hình AI thường xuyên gây ra tình trạng từ chối nhầm đối với các câu lệnh hợp lệ liên quan đến an ninh mạng hoặc mã nguồn chia sẻ. Sự phiền ngoái này đang thúc đẩy nhiều nhà phát triển tìm đến các bản tinh chỉnh không kiểm duyệt chạy cục bộ để khôi phục quyền kiểm soát hoàn toàn đối với quy trình làm việc. Nhà phát triển đã dùng mô hình lượng hóa GGUF 27 tỷ tham số (`Qwen3.8-27B-Heretic-JP-Roleplay-NSFW-DanbooruTags.i1-Q4_K_M`) để thực hiện các yêu cầu mà không bị từ chối. Phương pháp lượng hóa Q4_K_M giúp nén trọng số mô hình xuống khoảng 4 bit, cho phép vận hành các mô hình lớn không kiểm duyệt ngay trên phần ứng GPU cá nhân.