~/LLAMA CPP/llama-cpp-and-ggml-reach-version-1-0-0-with-150-model

llama.cpp và ggml đạt phiên bản 1.0.0 với hơn 150 kiến trúc mô hình

Nhà sáng tạo Georgi Gerganov đã công bố phát hành phiên bản 1.0.0 của llama.cpp và công cụ máy học ggml, thiết lập các quy tắc tương thích API rõ ràng và hỗ trợ hơn 150 kiến trúc mô hình. Bản cập nhật thiết lập quy ước phiên bản ngữ nghĩa chính thức cho libllama và libggml để quản lý tốt hơn các thay đổi phá vỡ tính tương thích. Mốc quan trọng này mang lại sự ổn định và quy ước phiên bản dễ dự đoán cho phần nền tảng cốt lõi của hệ sinh thái AI cục bộ, giúp các phần mềm và nhà phát triển dễ dàng xây dựng ứng dụng dựa trên đó hơn. Là tiêu chuẩn thực tế để chạy các mô hình ngôn ngữ lớn trên thiết bị cá nhân, việc chính thức hóa tính tương thích API đảm bảo độ tin cậy lâu dài cho các công cụ phụ thuộc vào các thư viện này. Bản cập nhật chuẩn hóa các quy tắc phiên bản trong đó việc nâng cấp phiên bản chính biểu thị các thay đổi phá vỡ C API, các bản cập nhật phụ bao gồm các tính năng tương thích ngược và các bản vá lỗi xử lý việc sửa lỗi. Hơn nữa, dự án đã mở rộng cơ sở hạ tầng CI sử dụng các công cụ của Hugging Face và nâng cao khả năng hỗ trợ phần cứng đa nền tảng trên các nhà cung cấp lớn như NVIDIA, AMD và Intel.

## KIẾN THỨC NỀN

llama.cpp là một thư viện phần mềm mã nguồn mở viết bằng C/C++ được sử dụng rộng rãi, cho phép thực hiện suy luận trên các mô hình ngôn ngữ lớn trực tiếp trên phần cứng cục bộ mà không cần kết nối đám mây. Dự án này được phát triển song song với ggml, một thư viện tensor đa năng hỗ trợ tính toán hiệu quả trên CPU và GPU, lượng tử hóa và thực thi đa nền tảng.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#ggml#Local AI#Open Source#LLM Inference

$ subscribe --daily