Cộng Đồng LocalLLaMA So Sánh Các Mô Hình Ngôn Ngữ Nhỏ Trong Phân Khúc 3-4B Tham Số

Một cuộc thảo luận trên cộng đồng LocalLLaMA đã tập trung so sánh thực tế giữa các mô hình ngôn ngữ nhỏ mới phát hành, cụ thể là Spark-X2.5-4B, Ling-3.0-tiny và Nanbeige4.2-3B. Bài viết lưu ý rằng mặc dù các mô hình này nhắm đến cùng phân khúc máy tính cấu hình thấp, chúng thường thiếu các đánh giá benchmark đối đầu trực tiếp. Các mô hình ngôn ngữ nhỏ ngày càng trở nên quan trọng đối với việc triển khai cục bộ trên thiết bị ngoại vi, xử lý tác vụ độ trễ thấp và vận hành AI hiệu quả trên phần cứng thương mại. Việc hiểu rõ hiệu năng thực tế giữa các mô hình cạnh tranh giúp các nhà phát triển lựa chọn kiến trúc tối ưu cho môi trường giới hạn bộ nhớ mà không phụ thuộc hoàn toàn vào kết quả benchmark do nhà phát triển tự công bố. Ling-3.0-tiny của InclusionAI sở hữu kiến trúc Mixture-of-Experts (MoE) với tổng cộng 7,9 tỷ tham số nhưng chỉ kích hoạt 1,3 tỷ tham số cho mỗi token cùng cửa sổ ngữ cảnh 262K. Ngược lại, Spark-X2.5-4B và Nanbeige4.2-3B hoạt động như các mô hình dày đặc (dense) trong khoảng 3B-4B tham số, ưu tiên dung lượng bộ nhớ nhỏ gọn cho việc thực thi cục bộ trên CPU và GPU.