ggerganov/llama.cpp Phát Hành Bản Build b11907
Bản phát hành b11907 của llama.cpp thay thế các tham số con trỏ đầu ra ggml_tensor bằng các cấu trúc đầu ra chuyên dụng cho các bộ xây dựng đồ thị. Thay đổi này tái cấu trúc cách các đầu ra bổ sung như cổng và lựa chọn top-k được xử lý trong các bộ xây dựng đồ thị hyper-connection và DSA. Việc tái cấu trúc này giúp cải thiện độ sạch của mã nguồn, tính an toàn kiểu dữ liệu và khả năng bảo trì cho các bộ xây dựng đồ thị nội bộ trong hệ sinh thái học máy GGML. Các nhà phát triển làm việc trực tiếp với các thao tác đồ thị tùy chỉnh hoặc kiến trúc mô hình sẽ cần cập nhật mã nguồn để phù hợp với mẫu cấu trúc đầu ra mới. Bản cập nhật này tác động cụ thể đến các bộ xây dựng đồ thị hyper-connection và DSA, trả về các đầu ra bổ sung cùng với đầu ra chính trong một cấu trúc nhỏ thay vì sử dụng con trỏ thô ggml_tensor**. Bản phát hành cũng bao gồm nhiều tệp nhị phân được biên dịch sẵn trên các nền tảng lớn như macOS, Linux, Windows và Android.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở cho phép thực thi suy luận hiệu quả cho các mô hình ngôn ngữ lớn trên nhiều loại phần cứng khác nhau thông qua thư viện tensor GGML. Các bộ xây dựng đồ thị trong ngữ cảnh này tạo ra các đồ thị tính toán để thực hiện các thao tác mạng nơ-ron theo từng tầng.