Cộng đồng LocalLLaMA dự đoán về kích thước tham số của các mô hình AI sắp ra mắt

Các thành viên trong cộng đồng r/LocalLLaMA đang dự đoán số lượng tham số của các mô hình AI nguồn mở sắp ra mắt dựa trên các bí danh rò rỉ gần đây. Người dùng bày tỏ sự mong đợi lớn đối với các kiến trúc kích thước vừa đến lớn, đặc biệt hy vọng vào các mô hình có quy mô từ 31 tỷ đến 122 tỷ tham số. Kích thước tham số quyết định trực tiếp đến bộ nhớ và năng lực tính toán cần thiết để vận hành mô hình AI trên phần cứng cá nhân. Các mô hình trong khoảng từ 30B đến 120B tham số đại diện cho điểm cân bằng lý tưởng giữa khả năng suy luận mạnh mẽ và chi phí phần cứng khả thi đối với cộng đồng người dùng AI. Các thảo luận này hoàn toàn dựa trên các bí danh mô hình chưa xác minh mà không có tài liệu kỹ thuật, điểm kiểm thử (benchmark) hay lịch trình ra mắt chính thức. Sự quan tâm của cộng đồng dành cho các mốc như 31B hay 122B phù hợp với các ngưỡng dung lượng VRAM phổ biến trên GPU máy tính và hệ thống bộ nhớ hợp nhất.