~/LLAMA CPP/ggerganov-llama-cpp-released-b12361-with-code-reorganization

ggerganov/llama.cpp phát hành phiên bản b12361 với việc tái cấu trúc mã nguồn

Phiên bản b12361 của llama.cpp giới thiệu việc tái cấu trúc mã nguồn nội bộ nhỏ bằng cách di chuyển mã MoE-cache ra khỏi thành phần llama-graph. Bản cập nhật này tiếp tục quá trình bảo trì thường xuyên và dọn dẹp kiến trúc của cơ sở mã. Mặc dù đây là một bản phát hành điểm định kỳ không có tính năng mới lớn hướng tới người dùng, việc tái cấu trúc mã nguồn nội bộ giúp duy trì tính mô-đun và khả năng bảo trì lâu dài của dự án. Các nhà phát triển và người dùng chuyên sâu sử dụng mô hình Hỗn hợp chuyên gia (MoE) sẽ được hưởng lợi từ cấu trúc đồ thị bên dưới sạch sẽ hơn. Thay đổi chính trong yêu cầu kéo (pull request) #32157 liên quan đến việc tách logic bộ nhớ đệm MoE ra khỏi phần cài đặt đồ thị tính toán chính. Gói phát hành bao gồm các tệp nhị phân được biên dịch sẵn cho các hệ điều hành và phần cứng khác nhau, bao gồm macOS, Linux và Windows.

## KIẾN THỨC NỀN

llama.cpp là một thư viện phần mềm mã nguồn mở được sử dụng rộng rãi, thiết kế để thực hiện suy luận cục bộ trên các mô hình ngôn ngữ lớn bằng ngôn ngữ C và C++. Các mô hình Hỗn hợp chuyên gia (MoE) sử dụng kiến trúc thưa thớt, trong đó chỉ một tập hợp con các tham số mạng nơ-ron hoặc 'chuyên gia' được kích hoạt cho mỗi token, giúp cải thiện hiệu suất.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#AI#LLM#open-source#release

$ subscribe --daily