~/LLAMA CPP/llama-cpp-release-b12347-removes-deprecated-apis-and-promotes-speculative-apis

llama.cpp Phiên bản b12347 Loại bỏ Các API Cũ và Đưa API Dự đoán Lên Cấp Chính Thức

Phiên bản b12347 của llama.cpp loại bỏ các API đã cũ như `llama_set_warmup` và `defrag_thold`, đồng thời đưa các API giải mã dự đoán NextN từ tệp tiêu đề mở rộng trực tiếp vào tệp tiêu đề chính `llama.h`. Việc dọn dẹp này giúp tinh giản mã nguồn và ổn định hóa các tính năng nâng cao như giải mã dự đoán, giúp các nhà phát triển tích hợp khả năng suy luận cục bộ hiệu suất cao vào ứng dụng của họ dễ dàng hơn. Bản cập nhật này cũng đổi tên hàm `llama_set_embd_state_src` thành `llama_set_ctx_state_src`, tài liệu hóa `llama_model_dflash_selector_top_k`, và loại bỏ các lệnh bao hàm `llama-ext.h` cũ khỏi các công cụ nội bộ.

## KIẾN THỨC NỀN

llama.cpp là một công cụ suy luận mã nguồn mở được thiết kế để chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều thiết bị phần cứng khác nhau bằng định dạng tệp GGUF. Giải mã dự đoán là một kỹ thuật tăng tốc độ tạo mã thông báo bằng cách sử dụng một mô hình nháp nhỏ hơn để dự đoán trước nhiều mã thông báo, sau đó được mô hình chính xác thực song song.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#LLM#AI#Software Release

$ subscribe --daily