~/LLAMA CPP/ggerganov-llama-cpp-released-b12449

ggerganov/llama.cpp phát hành phiên bản b12449

Phiên bản b12449 của llama.cpp bổ sung tính năng hỗ trợ tối đa llama_max_devices() cấu hình cho các tham số --tensor-split và --fit-target. Bản cập nhật này cải thiện tính linh hoạt trong việc cấu hình đa thiết bị cho các hệ thống phần cứng nâng cao. Cải tiến này mang lại lợi ích cho người dùng chuyên sâu và các kỹ sư chạy các mô hình ngôn ngữ lớn trên các cấu hình phần cứng đa GPU hoặc đa thiết bị phức tạp. Nó loại bỏ các hạn chế trước đây về việc ánh xạ số lượng thiết bị, giúp mở rộng quy mô mượt mà hơn. Bản phát hành này bao gồm các tệp nhị phân được biên dịch sẵn cho nhiều nền tảng khác nhau, bao gồm macOS, Linux, Windows và Android, với sự hỗ trợ cụ thể cho các bộ tăng tốc phụ trợ như CUDA, ROCm, Vulkan và OpenVINO.

## KIẾN THỨC NỀN

llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng cục bộ với thiết lập tối thiểu. Tính năng phân tách tensor cho phép người dùng phân phối các lớp mô hình theo tỷ lệ trên nhiều bộ tăng tốc phần cứng để vượt qua giới hạn VRAM của một thiết bị duy nhất.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#AI#LLM#Machine Learning#Software Release

$ subscribe --daily

ggerganov/llama.cpp phát hành phiên bản b12449 | Daily News