ggerganov/llama.cpp Phát Hành Phiên Bản b12401 Mở Rộng Hỗ Trợ s390x
Phiên bản b12401 của llama.cpp giới thiệu khả năng hỗ trợ lượng tử hóa Q0 mở rộng cho kiến trúc máy chủ lớn IBM s390x cùng với các tệp nhị phân tiêu chuẩn cho nhiều nền tảng. Bản cập nhật này cải thiện tính linh hoạt trong việc triển khai mô hình bằng cách cho phép chạy hiệu quả trên các môi trường máy chủ lớn doanh nghiệp, giúp AI mã nguồn mở tiếp cận rộng rãi hơn với các hệ sinh thái phần cứng đa dạng. Yêu cầu kéo #32203, do Aaron Teo từ IBM đóng góp, nhắm trực tiếp vào kiến trúc s390x với các tính năng lượng tử hóa Q0 mới.
## KIẾN THỨC NỀN
llama.cpp là một dự án mã nguồn mở phổ biến cho phép suy luận mô hình ngôn ngữ lớn với thiết lập tối thiểu trên nhiều phần cứng khác nhau. Các kỹ thuật lượng tử hóa giúp giảm kích thước mô hình và yêu cầu bộ nhớ bằng cách biểu diễn trọng số bằng các kiểu dữ liệu có độ chính xác thấp hơn.