Bốn đợt phát hành mô hình nguồn mở lớn làm nổi bật cuộc khủng hoảng tiếp cận phần cứng
Trong khoảng thời gian 72 giờ, bốn mô hình trọng số mở lớn đã được phát hành — gồm Muse Spark Open của Meta, Nemotron 3.5 Bolt của NVIDIA, Beam của Reflection và V4.1 Flash 1017 của DeepSeek — trong đó chỉ có mô hình của NVIDIA được thiết kế để vừa vặn với phần cứng VRAM 24GB phổ thông. Điều này làm nổi bật sự chênh lệch ngày càng lớn khi 'AI chạy cục bộ' ngày càng đòi hỏi các cụm máy chủ cấp doanh nghiệp trị giá hàng chục nghìn đô la, bỏ lại phía sau các nhà phát triển thông thường. Mô hình Nemotron 3.5 Bolt của NVIDIA sử dụng kỹ thuật huấn luyện nhận biết lượng tử hóa xuống mức 2 bit để nhét tổng số 74B tham số của nó vào 22GB, trong khi các mô hình khác đòi hỏi hàng trăm gigabyte bộ nhớ và cấu hình nhiều GPU cực kỳ tốn kém.
## KIẾN THỨC NỀN
Card đồ họa phổ thông thường có 24GB VRAM, đóng vai trò là giới hạn phần cứng tiêu chuẩn cho những người có sở thích và nhà nghiên cứu cá nhân muốn chạy các mô hình ngôn ngữ lớn tại chỗ. Huấn luyện nhận biết lượng tử hóa là một kỹ thuật được sử dụng trong quá trình huấn luyện mô hình nhằm giảm thiểu tổn thất độ chính xác thường xảy ra khi nén trọng số mô hình xuống các bit có độ chính xác thấp hơn.