Cohere Chính Thức Thêm Hỗ Trợ llama.cpp Cho Các Kiến Trúc Mô Hình Mới Nhất
Cohere đã chính thức tích hợp hỗ trợ llama.cpp cho các kiến trúc mô hình mới nhất của họ, bao gồm tính năng tương thích với bộ mã hóa thị giác (vision encoder) cho North Micro Vision Instruct. Bản cập nhật này đảm bảo rằng toàn bộ các dòng mô hình gần đây của Cohere, bên cạnh hỗ trợ trước đó cho các kiến trúc như Command A+ và North Mini Code, giờ đây có thể chạy cục bộ. Sự phát triển này đáp ứng trực tiếp các nhu cầu mạnh mẽ từ cộng đồng LLM cục bộ bằng cách giúp các mô hình tiên tiến có thể tiếp cận để triển khai cục bộ và suy luận tiết kiệm phần cứng. Ngoài ra, việc cung cấp Cohere Transcribe trong Unsloth và Unsloth Studio giúp mở rộng các tùy chọn tinh chỉnh (fine-tuning) cho các mô hình chuyển giọng nói thành văn bản tiên tiến nhất. Hỗ trợ bộ mã hóa thị giác vừa được hợp nhất cho North Micro Vision Instruct cho phép các tính năng đa phương thức hoạt động mượt mà trong hệ sinh thái llama.cpp. Hơn nữa, Cohere Transcribe hiện đã có thể truy cập trên Unsloth và Unsloth Studio để phục vụ cho các tác vụ tinh chỉnh chuyển giọng nói thành văn bản.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được áp dụng rộng rãi, thực hiện suy luận trên các mô hình ngôn ngữ lớn bằng cách sử dụng tài nguyên phần cứng tối thiểu. Bộ mã hóa thị giác là một thành phần mạng thần kinh chuyên biệt có nhiệm vụ xử lý thông tin trực quan từ hình ảnh và chuyển đổi chúng thành các biểu diễn số học mà các mô hình ngôn ngữ kết hợp thị giác có thể hiểu được.