~/LLAMA CPP/llama-cpp-release-b12430-fixes-mixture-of-experts-hip-regression

Bản phát hành llama.cpp b12430 khắc phục lỗi hồi quy MoE trên HIP

Bản phát hành llama.cpp b12430 giới thiệu bản sửa lỗi cho tình trạng hồi quy Mô hình Chuyên gia Hỗn hợp (MoE) trên HIP đối với ggml-cuda. Bản cập nhật định kỳ này đảm bảo tính năng hoạt động bình thường cho các cấu hình phần cứng tương thích. Cập nhật này rất quan trọng đối với người dùng chạy các mô hình ngôn ngữ lớn có kiến trúc Mô hình Chuyên gia Hỗn hợp trên phần cứng AMD sử dụng khả năng tăng tốc HIP. Nó khôi phục lại tính năng bị lỗi và duy trì hiệu suất ổn định trên các hệ sinh thái GPU khác nhau. Bản vá này giải quyết cụ thể vấn đề #32344, liên kết ngược lại với bản sửa lỗi hồi quy #29948 trong cơ sở mã ggml-cuda. Các gói tệp nhị phân cho nhiều nền tảng và phần phụ trợ cũng được cung cấp kèm theo bản phát hành này.

## KIẾN THỨC NỀN

llama.cpp là một thư viện mã nguồn mở cho phép suy luận cục bộ hiệu quả cho các mô hình ngôn ngữ lớn bằng cách sử dụng thư viện tensor GGML. HIP là mô hình lập trình và thời gian chạy của AMD cho phép các nhà phát triển chạy mã CUDA trên các GPU AMD.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#AI#LLM#open-source#release

$ subscribe --daily