Gemma 4 đạt tốc độ nhanh hơn gấp đôi trên Ryzen AI Max+ 395
Các nhà phát triển đã tối ưu hóa Gemma 4 để chạy nhanh hơn gấp đôi so với llama.cpp trên phần cứng AMD Ryzen AI Max+ 395. Mức tăng hiệu năng này đạt được nhờ kết hợp các kỹ thuật xoay vòng (rotation), GPTQ và độ chính xác hỗn hợp có chọn lọc trong khi vẫn duy trì độ chính xác của mô hình. Việc tối ưu hóa này thể hiện những cải thiện hiệu năng đáng kể khi chạy các mô hình ngôn ngữ lớn cục bộ trên phần cứng người tiêu dùng và phần cứng biên. Điều này cho thấy các chiến lược lượng tử hóa nâng cao và độ chính xác hỗn hợp có thể giảm độ trễ một cách triệt để mà không làm giảm chất lượng đầu ra. Phương pháp tối ưu hóa sử dụng sự kết hợp giữa lượng tử hóa GPTQ chỉ dành cho trọng số, các phương pháp xoay vòng và độ chính xác hỗn hợp có chọn lọc để tăng tốc quá trình suy luận. Giải pháp này nhắm đặc biệt đến bộ xử lý Ryzen AI Max+ 395, vượt trội hơn các công cụ suy luận tiêu chuẩn như llama.cpp.
## KIẾN THỨC NỀN
GPTQ là một phương pháp lượng tử hóa sau huấn luyện dùng để nén các trọng số của mạng thần kinh bằng cách sử dụng các bản cập nhật bậc hai nhằm giảm thiểu tổn thất độ chính xác. Độ chính xác hỗn hợp liên quan đến việc sử dụng độ chính xác số thấp hơn cho một số phần nhất định của mô hình nhằm cải thiện hiệu quả tính toán trong khi vẫn giữ các lớp quan trọng ở độ chính xác cao hơn.