~/LLAMA CPP/llama-cpp-release-b12367-adds-sm103-sass-support-for-cuda

llama.cpp Phiên bản b12367 Thêm Hỗ trợ SM103 SASS cho CUDA

Dự án llama.cpp đã phát hành bản dựng b12367, mang lại khả năng hỗ trợ SM103 SASS cho các bản dựng CUDA phi nguyên bản cùng với các tệp nhị phân đa nền tảng tiêu chuẩn. Bản cập nhật này bao gồm các mục tiêu biên dịch và gói thông thường trên nhiều hệ điều hành và phần cứng khác nhau. Bản phát hành này đảm bảo khả năng tương thích tốt hơn và hỗ trợ phần cứng cho các kiến trúc GPU NVIDIA mới hơn trong môi trường CUDA phi nguyên bản. Nó giúp các nhà phát triển và người dùng chạy các mô hình ngôn ngữ lớn chuyển đổi suôn sẻ sang các tập lệnh phần cứng mới. Yêu cầu kéo #30099 cụ thể do NVIDIA đóng góp bổ sung các lệnh SM103 SASS dành riêng cho các bản dựng phi nguyên bản. Bên cạnh đó, bản phát hành cung cấp các tệp nhị phân được biên dịch sẵn cho macOS, Linux, Android và Windows hỗ trợ nhiều bộ tăng tốc khác nhau như Vulkan, OpenVINO và ROCm.

## KIẾN THỨC NỀN

llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng tiêu dùng, đặc biệt nhấn mạnh vào việc sử dụng ít tài nguyên. SASS đề cập đến ngôn ngữ hợp ngữ cấp thấp của NVIDIA được sử dụng bên trong các GPU của hãng, nhằm mục tiêu vào các khả năng tính toán cụ thể như SM103.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#AI#Machine Learning#LLM#CUDA

$ subscribe --daily