Berth: Trình quản lý tài nguyên GPU nhẹ dành cho các tác vụ CUDA
Berth phiên bản v0.4.1 vừa được phát hành dưới dạng trình quản lý tài nguyên GPU viết bằng Go, có khả năng điều phối quyền truy cập, mức độ ưu tiên và chuyển đổi trực tiếp (live-swapping) cho các khối lượng công việc CUDA như llama.cpp và ComfyUI. Công cụ này sử dụng hệ thống cho thuê (lease), hàng đợi yêu cầu và API tương thích với OpenAI để ngăn chặn xung đột VRAM và tối ưu hóa các hoạt động AI cục bộ. Công cụ này giải quyết một vấn đề nhức nhối đối với những người thực hành AI cục bộ, những người thường xuyên gặp phải tình trạng tranh chấp VRAM khi chạy đồng thời nhiều ứng dụng nặng như mô hình ngôn ngữ và trình tạo ảnh. Bằng cách tự động hóa việc chuyển giao tài nguyên và lưu trữ tiến trình, nó giúp cho các quy trình làm việc AI đa ứng dụng trên máy cá nhân trở nên khả thi và thực tế hơn đáng kể. Được viết dưới dạng một tệp nhị phân Go duy nhất, Berth hỗ trợ Linux NVIDIA ngay khi cài đặt cùng với hỗ trợ thử nghiệm cho AMD Linux và Windows. Công cụ này tích hợp tính năng tự động quản lý trò chơi, giám sát từ xa GPU, khám phá mô hình trên nhiều thư mục và tích hợp trợ lý ảo cho các công cụ như Claude Code.
## KIẾN THỨC NỀN
CUDA là một nền tảng tính toán song song và mô hình lập trình do NVIDIA phát triển, cho phép các nhà phát triển sử dụng các bộ xử lý đồ họa (GPU) cho các tác vụ xử lý đa năng. Các công cụ như llama.cpp và ComfyUI phụ thuộc rất nhiều vào CUDA để tăng tốc quá trình thực thi các mô hình ngôn ngữ lớn và quy trình tạo ảnh dựa trên mô hình khuếch tán tại chỗ.