Đội ngũ phát triển Qwen khảo sát cộng đồng về kích thước mô hình LLM mong muốn

Một bài đăng trên r/LocalLLaMA đã dẫn người dùng đến cuộc khảo sát trên X của QwenDevs để hỏi ý kiến cộng đồng về kích thước mô hình ưa thích. Đội ngũ phát triển Qwen đang thu thập phản hồi từ công chúng để định hình quy mô tham số cho các phiên bản mô hình trọng số mở sắp tới. Ý kiến phản hồi trực tiếp từ cộng đồng giúp các đội ngũ AI mã nguồn mở cân bằng giữa khả năng tiếp cận phần cứng cho người dùng cục bộ và trí tuệ thô của mô hình. Đối với những người yêu thích LLM cục bộ, kích thước mô hình quyết định việc liệu nó có thể chạy trên GPU phổ thông hay đòi hỏi phần cứng chuyên dụng doanh nghiệp. Các mô hình Qwen truyền thống trải dài trên nhiều quy mô tham số khác nhau, từ các mô hình ngôn ngữ nhỏ có khả năng chạy trên thiết bị biên đến các cấu hình hàng chục tỷ tham số lớn. Việc quyết định kích thước mô hình tối ưu đòi hỏi sự đánh đổi quan trọng giữa dung lượng bộ nhớ, tốc độ suy luận và hiệu suất thực hiện các tác vụ suy luận phức tạp.