Đánh giá từ người dùng chỉ trích hiệu năng và kiến trúc lặp của Nanbeige-4.2-3B

Một bài đánh giá thực tế từ người dùng về mô hình Nanbeige-4.2-3B cho thấy mặc dù đạt điểm benchmark cao trên lý thuyết, mô hình này lại hoạt động kém trong các tác vụ lập trình thực tế và cần một bản vá (pull request) trên llama.cpp để chạy ổn định. Điều này làm nổi bật sự khác biệt ngày càng lớn giữa điểm số benchmark lý thuyết và khả năng sử dụng thực tế, đặc biệt là đối với các mô hình "lặp" (looped models) vốn đánh đổi tính hiệu quả về tham số để lấy chi phí tính toán và dung lượng VRAM lớn. Do Nanbeige-4.2-3B duyệt qua tất cả các lớp hai lần, nó hoạt động giống như một mô hình 6B về mặt tốc độ và kích thước ngữ cảnh, yêu cầu tới 5,2GB VRAM chỉ riêng cho KV cache 128k. Ngoài ra, cơ chế "suy nghĩ" (thinking) của nó khiến mô hình chạy cực kỳ chậm và nhanh chóng tiêu tốn hết dung lượng ngữ cảnh.