Cộng đồng mong đợi hỗ trợ llama.cpp cho mô hình Kimi K3 của Moonshot AI

Người dùng trong cộng đồng AI cục bộ đang mong đợi việc chuyển đổi và khả năng tương thích của mô hình Kimi K3 mới ra mắt từ Moonshot AI để chạy cục bộ qua llama.cpp. Hiện tại, các thành viên cộng đồng đang chờ đợi các nhà phát triển chuyển đổi thành công mô hình này sang định dạng tương thích. Kimi K3 là một mô hình trọng số mở khổng lồ với 2,8 nghìn tỷ tham số, và việc hỗ trợ llama.cpp về mặt lý thuyết sẽ cho phép người dùng chạy mô hình này trên phần cứng cục bộ. Tuy nhiên, kích thước cực lớn của mô hình đặt ra những thách thức cực kỳ nghiêm trọng về phần cứng đối với việc triển khai cục bộ, khiến việc lượng tử hóa trở nên vô cùng quan trọng. Kimi K3 sở hữu cửa sổ ngữ cảnh lên tới 1 triệu token, khả năng thị giác bản địa và các kiến trúc chuyên biệt như Kimi Delta Attention. Do kích thước 2,8 nghìn tỷ tham số, việc chạy mô hình này cục bộ qua llama.cpp sẽ đòi hỏi lượng tử hóa sâu và cấu hình phần cứng cao cấp.