Tiến Triển Mới Trong Việc Mở Khóa 48GB VRAM Trên GPU Nvidia CMP 170HX

Một bản chỉnh sửa phần cứng và firmware đang được phát triển để mở khóa dung lượng bộ nhớ ẩn trên các card Nvidia CMP 170HX phiên bản 10GB, giúp mở rộng VRAM sử dụng từ 40GB lên 48GB. Bài đăng trên cộng đồng LocalLLaMA cho biết quá trình phát triển bản mod này đang tiến triển rất khả quan. Việc mở khóa tối đa 48GB bộ nhớ HBM2 tốc độ siêu cao giúp biến các card đào coin cũ giá rẻ thành thiết bị tăng tốc hiệu quả để chạy các mô hình ngôn ngữ lớn cục bộ. Điều này mang lại cho những người đam mê phần cứng một giải pháp thay thế chi phí thấp hơn nhiều so với dòng card doanh nghiệp đắt đỏ như Nvidia A100. CMP 170HX sở hữu 6 cụm bộ nhớ HBM2 trên kiến trúc chip GA100 của Nvidia, nhưng bị nhà sản xuất giới hạn xuống 8GB hoặc 10GB nhằm phân khúc sản phẩm và kiểm soát chất lượng. Các bản mod từ cộng đồng giúp kích hoạt lại những cụm bộ nhớ này, mặc dù độ ổn định và dung lượng tối đa hoạt động bình thường sẽ phụ thuộc vào chất lượng thực tế của từng chip silicon.