Nhà phát triển cảnh báo về việc dùng định dạng nén FP4 cho mô hình ngôn ngữ nhỏ

Một bài đăng gây chú ý trong cộng đồng thể hiện sự thất vọng đối với các công cụ suy luận LLM quá tập trung tối ưu hóa cho các định dạng số thực 4-bit cực thấp như NVFP4 và MXFP4. Tác giả nhấn mạnh rằng dù FP4 mang lại tốc độ nhanh hơn đôi chút, nó làm suy giảm nghiêm trọng khả năng suy luận và chất lượng đầu ra của các mô hình nhỏ. Khi các kiến trúc phần cứng hiện đại giới thiệu khả năng hỗ trợ gốc cho định dạng số thực 4-bit, các nhà phát triển có nguy cơ mải chạy theo điểm số tốc độ mà đánh đổi tiện ích thực tế của mô hình. Điều này nhấn mạnh sự đánh đổi quan trọng giữa hiệu quả nén mô hình và độ chính xác chức năng, đặc biệt là đối với các mô hình LLM chạy cục bộ dung lượng nhỏ. Các định dạng vi tỷ lệ FP4 như NVFP4 (khối 16 phần tử với quy mô FP8) và MXFP4 (khối 32 phần tử) giúp nén mạnh các trọng số để tối đa hóa băng thông GPU. Tuy nhiên, các mô hình nhỏ thiếu sự dư thừa tham số so với các mô hình lớn, khiến giới hạn độ chính xác của FP4 gây ra hiện tượng ảo giác nghiêm trọng và làm hỏng khả năng tính toán logic cơ bản.