~/LLAMA CPP/llama-cpp-release-b12320-fixes-sycl-aot-compilation

Bản phát hành llama.cpp b12320 sửa lỗi biên dịch AOT SYCL

Bản phát hành llama.cpp b12320 giới thiệu bản vá lỗi biên dịch Ahead-of-Time (AOT) SYCL nhằm khắc phục tình trạng tạo ra dữ liệu rác hoặc bị lỗi khi kích thước đầu ra lớn hơn 4GB. Bản cập nhật này cũng bổ sung cờ --aot vào tập lệnh xây dựng và cập nhật khả năng hỗ trợ biên dịch không cần XMX. Bản cập nhật này đảm bảo tính ổn định và chính xác cho người dùng chạy các khối lượng công việc mô hình quy mô lớn trên các bộ tăng tốc phần cứng sử dụng mô hình lập trình SYCL. Nó cải thiện độ tin cậy khi triển khai các mô hình ngôn ngữ lớn trên các nền tảng được hỗ trợ mà không gặp lỗi dữ liệu đầu ra. Bản vá giải quyết cụ thể yêu cầu kéo #31873, sửa đổi cách xử lý cờ AOT và cập nhật các cấu hình mã nguồn cho việc xây dựng không có xmx, đồng thời đổi tên nossl thành no-ssl.

## KIẾN THỨC NỀN

Biên dịch Ahead-of-Time (AOT) là một kỹ thuật trong đó mã nguồn hoặc các kernel được dịch thành mã máy dành riêng cho thiết bị trước khi chương trình thực thi, giúp tránh độ trễ khi chạy. SYCL là một mô hình lập trình chuẩn mở được thiết kế nhằm nâng cao năng suất viết mã cho các bộ xử lý dị thể như GPU và các bộ tăng tốc.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#AI#LLM#open-source

$ subscribe --daily