Công cụ mở khóa mới giúp tăng hiệu năng AI cho dòng GPU NVIDIA RTX 30 và 40
Một công cụ mở khóa mới được lấy cảm hứng từ CMP 170HX đã giúp tăng đáng kể hiệu năng tính toán và mang lại tốc độ xử lý phần tiền nạp (prefill) nhanh gấp đôi cho các dòng GPU NVIDIA RTX 30 và RTX 40 khi chạy các mô hình ngôn ngữ lớn (LLM). Bước đột phá về phần cứng và phần mềm này cũng khiến giá thị trường thứ cấp của các dòng card đồ họa này tăng vọt. Sự phát triển này cải thiện đáng kể khả năng suy luận LLM và AI cục bộ cho người dùng tiêu dùng sử dụng phần cứng hiện có, giúp việc chạy AI cục bộ hiệu năng cao trở nên dễ tiếp cận hơn nhiều. Tuy nhiên, việc giá GPU tăng vọt đột ngột có thể khiến những người đam mê tốn kém hơn khi mua sắm phần cứng. Việc tối ưu hóa này dựa trên các kỹ thuật lấy cảm hứng từ các bản mở khóa cộng đồng CMP 170HX, giúp tăng gấp đôi hiệu suất tính toán trong các tác vụ AI. Người dùng có thể kỳ vọng những cải thiện hiệu năng lớn trong quá trình xử lý LLM, mặc dù khả năng cung ứng trên thị trường và giá phần cứng đang bị ảnh hưởng nặng nề.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn (LLM) phụ thuộc rất nhiều vào phần cứng GPU để xử lý dữ liệu trong giai đoạn tiền nạp và tạo văn bản. NVIDIA CMP 170HX ban đầu là một GPU trung tâm dữ liệu được phát hành vào năm 2021 dành riêng cho việc đào tiền ảo và các khối lượng công việc chuyên biệt, gần đây đã thu hút sự chú ý sau khi các công cụ cộng đồng mở khóa bộ nhớ ẩn và khả năng tính toán của nó.