DFlash 2 Ra Mắt Cho Qwen 3.8 27B Và Muse Glimmer Cùng Hỗ Trợ Trên llama.cpp
Phiên bản DFlash 2 đã được phát hành cho các mô hình Qwen 3.8 27B và Muse Glimmer, đi kèm với một pull request để tích hợp hỗ trợ vào kho lưu trữ llama.cpp. Bản cập nhật này mang phiên bản thứ hai của các bản lượng tử hóa DFlash GGUF đến với các mô hình cụ thể này. Sự tích hợp này cho phép người dùng LLM cục bộ tận dụng cơ chế giải mã suy đoán khuếch tán khối của DFlash để tăng tốc độ suy luận trên phần cứng tiêu dùng. Bằng cách hỗ trợ các mô hình phổ biến như Qwen và Muse Glimmer trong llama.cpp, nó giúp cộng đồng AI mã nguồn mở dễ dàng tiếp cận khả năng tăng tốc không hao tổn hiệu năng với tốc độ cao. Bản cập nhật được hỗ trợ bởi một pull request do người dùng GitHub rerri gửi đến kho lưu trữ chính của llama.cpp. DFlash hoạt động bằng cách tạo ra các token nháp trong một lượt truyền xuôi duy nhất, căn chỉnh các dự đoán khuếch tán cấp khối với đầu ra của mô hình mục tiêu.
## KIẾN THỨC NỀN
Giải mã suy đoán (speculative decoding) là một kỹ thuật được sử dụng để tăng tốc độ suy luận của LLM bằng cách sử dụng một mô hình "nháp" nhỏ hơn, nhanh hơn để dự đoán các token, sau đó được xác thực bởi mô hình "mục tiêu" lớn hơn. DFlash là một mô hình khuếch tán khối nhẹ được thiết kế riêng cho mục đích này, mang lại khả năng tăng tốc không hao tổn lên tới 6 lần. Muse Glimmer là một mô hình ngôn ngữ nhân quả 30 tỷ tham số được thiết kế cho các tác vụ tự trị trên máy tính cá nhân.