Bảng xếp hạng AI mã nguồn mở giúp ghép nối mô hình cục bộ với phần cứng
Một công cụ mã nguồn mở mang tên whatmodel.sh vừa ra mắt giúp người dùng khám phá các mô hình AI cục bộ nào mà phần cứng của họ có thể chạy bằng cách nhập thông số RAM và GPU. Công cụ này cung cấp bảng xếp hạng thống nhất, quyền truy cập dòng lệnh qua curl và các lệnh trực tiếp để chạy mô hình được đề xuất. Công cụ này thu hẹp khoảng cách giữa giới hạn phần cứng và hiệu năng mô hình, giúp lập trình viên và người có sở thích dễ dàng xác định các mô hình AI cục bộ hàng đầu mà họ có thể chạy miễn phí. Bằng cách so sánh trực tiếp mô hình cục bộ với các mô hình qua API, nó làm nổi bật tính khả thi thực tế của việc chạy AI tiên tiến ngay trên máy tính cá nhân. Công cụ tổng hợp gần 20.000 kết quả đánh giá chuẩn hóa thành một điểm số duy nhất cho mỗi mô hình, với mọi nguồn được liên kết đầy đủ. Toàn bộ mã nguồn, tập lệnh kiểm thử và logic chấm điểm đều là mã nguồn mở trên GitHub.
## KIẾN THỨC NỀN
Việc chạy các Mô hình Ngôn ngữ Lớn (LLM) cục bộ đòi hỏi phải quản lý các giới hạn bộ nhớ phần cứng, điều thường được giải quyết bằng các kỹ thuật lượng tử hóa như nén 4-bit để giảm yêu cầu về bộ nhớ. Việc tổng hợp các bài kiểm tra chuẩn (benchmark) kết hợp nhiều số liệu đánh giá để cung cấp một khung so sánh chuẩn hóa duy nhất cho các mô hình khác nhau.