llama.cpp Phát Hành Bản b11418 Bổ Sung Hỗ Trợ Đầu Vào Thị Giác Cho Mô Hình Clef
Khung làm việc suy luận LLM nguồn mở llama.cpp đã phát hành bản dựng b11418, mang đến khả năng xử lý đầu vào thị giác cho mô hình ra quyết định Clef trong thành phần máy chủ. Cập nhật này mở rộng hỗ trợ trước đây vốn chỉ dừng lại ở văn bản, cho phép llama-server xử lý dữ liệu hình ảnh cùng với dữ liệu văn bản. Việc bổ sung khả năng thị giác đa thức cho Clef cho phép các nhà phát triển chạy cục bộ các mô hình ra quyết định tự động bằng ngữ cảnh hình ảnh như ảnh chụp màn hình. Điều này mở rộng phạm vi triển khai AI cục bộ nhẹ và bảo mật mà không cần phụ thuộc vào dịch vụ đám mây. Bản phát hành bao gồm pull request #29969, tái cấu trúc việc gom lô nội bộ và vị trí token để xử lý hiệu quả nhúng đa chiều và token hình ảnh. Các gói phần mềm biên dịch sẵn trên nhiều nền tảng như macOS, Linux, Windows, Android và Snapdragon cũng đã được cập nhật.
## KIẾN THỨC NỀN
llama.cpp là công cụ C/C++ hiệu năng cao được thiết kế để chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều phần cứng khác nhau như GPU, CPU và thiết bị di động. Clef là kiến trúc mô hình ra quyết định được thiết kế để đánh giá các đầu vào trạng thái—chẳng hạn như văn bản hoặc ảnh chụp màn hình giao diện—và tính toán xác suất cho các hành động cụ thể trong một lần xử lý duy nhất.