~/LLAMA CPP/ggerganov-llama-cpp-released-build-b12173-with-opencl-repeat-operation-updates

ggerganov/llama.cpp phát hành bản dựng b12173 với hỗ trợ thao tác lặp OpenCL

Bản phát hành b12173 của llama.cpp giới thiệu hỗ trợ thao tác lặp (repeat operation) bằng OpenCL cho các kiểu dữ liệu f16, i32, i16 và bf16. Những cập nhật gia tăng này giúp cải thiện khả năng tính toán của thư viện trên nhiều bộ tăng tốc phần cứng khác nhau. Việc tăng cường hỗ trợ phần phụ trợ OpenCL giúp mở rộng khả năng suy luận mô hình cục bộ hiệu quả sang nhiều cấu hình phần cứng không đồng nhất hơn. Điều này đảm bảo rằng những người dùng dựa vào các tiêu chuẩn đồ họa mở có thể chạy các mô hình ngôn ngữ lớn hiện đại một cách mượt mà hơn. Bản cập nhật tập trung hoàn toàn vào việc triển khai OpenCL, bổ sung các bản cập nhật thao tác cụ thể và hỗ trợ lặp cho số thực bán chính xác, bfloat16 cùng nhiều kiểu số nguyên khác nhau. Các nhà phát triển có thể truy cập các tệp nhị phân được xây dựng sẵn này trên nhiều nền tảng bao gồm Linux, Windows và macOS.

## KIẾN THỨC NỀN

llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện việc suy luận hiệu quả trên các mô hình ngôn ngữ lớn bằng ngôn ngữ C/C++. OpenCL là một tiêu chuẩn mở, miễn phí bản quyền do Khronos Group duy trì nhằm lập trình song song, đa nền tảng cho các bộ tăng tốc đa dạng như CPU và GPU.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#opencl#ai inference#machine learning

$ subscribe --daily