Tăng tốc xử lý thị giác trong llama.cpp bằng GPU phụ dung lượng VRAM thấp
Một người dùng LLM cục bộ đã chia sẻ mẹo phân chia các tác vụ xử lý của mô-đun thị giác (`mmproj`) trong llama.cpp sang một GPU phụ cũ hơn thông qua cờ `--mmdev` để tăng tốc đáng kể quá trình suy luận đa phương thức. Kỹ thuật này giúp tránh tình trạng xử lý chậm chạp khi đẩy sang CPU mà vẫn tiết kiệm VRAM quý giá trên GPU chính. Các quy trình làm việc đa phương thức như lập trình tự động dựa trên hình ảnh đòi hỏi thêm VRAM để xử lý ảnh, buộc người dùng GPU đơn phải đẩy ma trận thị giác sang bộ nhớ RAM hệ thống rất chậm. Việc tận dụng các GPU phụ dung lượng thấp đang nhàn rỗi để chuyên trách phần xử lý thị giác mang lại một chiến lược tối ưu hóa hiệu quả và tiết kiệm chi phí. Bằng cách chỉ định một GPU phụ thông qua tham số như `--mmdev CUDA1`, llama.cpp sẽ chuyển toàn bộ tải của mô hình chiếu thị giác sang GPU này mà không chiếm dụng VRAM của GPU chính hay làm chậm tốc độ tạo văn bản. Phương pháp này mang lại tốc độ xử lý nhanh hơn nhiều lần so với việc chạy hoàn toàn mô-đun thị giác trên CPU thông qua tham số `--no-mmproj-offload`.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở hiệu năng cao viết bằng C++, được thiết kế để chạy các mô hình ngôn ngữ lớn (LLM) cục bộ trên nhiều phần cứng khác nhau. Khi thực thi các mô hình đa phương thức ngôn ngữ - thị giác (VLM), llama.cpp sử dụng một tệp chiếu đa phương thức (`mmproj`) để giải mã dữ liệu hình ảnh bên cạnh dữ liệu văn bản. Do mô hình chính thường chiếm hầu hết VRAM, người dùng thường phải tắt tính năng offload GPU cho phần thị giác, khiến việc xử lý ảnh bị đẩy sang CPU và làm giảm hiệu năng nghiêm trọng.