Eagle-4 ra mắt: Nhanh hơn cả DFlash2 và DSpark
EAGLE-4 vừa được phát hành, đạt mức tăng tốc 3.59 lần so với quá trình tạo văn bản thông thường trên mô hình Qwen-27B. Công nghệ này vượt trội hơn các phương pháp tăng tốc thay thế như MTP, DSpark và DFlash2. Bản phát hành này đánh dấu một cột mốc hiệu năng quan trọng trong việc giải mã phỏng đoán và tăng tốc mô hình ngôn ngữ lớn (LLM), giúp giảm đáng kể độ trễ khi suy luận. Những tiến bộ như vậy đóng vai trò cốt lõi trong việc làm cho các mô hình ngôn ngữ lớn trở nên hiệu quả và thiết thực hơn khi chạy cục bộ. Theo các bài kiểm tra điểm chuẩn ban đầu trên mô hình Qwen 3.8 27B, EAGLE-4 mang lại tốc độ nhanh hơn 3.59 lần, trong khi DFlash 2 đạt 2.80 lần, DSpark đạt 2.57 lần và MTP đạt 2.22 lần. Cộng đồng người dùng đang chờ đợi tính năng này được tích hợp vào các framework phục vụ mô hình cục bộ phổ biến như llama.cpp và vLLM.
## KIẾN THỨC NỀN
Giải mã phỏng đoán là một kỹ thuật dùng để tăng tốc độ suy luận của mô hình ngôn ngữ lớn bằng cách sử dụng một mô hình nháp nhỏ hơn, nhanh hơn để tạo ra nhiều token ứng viên song song, sau đó các token này được kiểm chứng đồng thời bởi mô hình chính lớn hơn. EAGLE là một framework lấy mẫu phỏng đoán phổ biến sử dụng các tầng nháp nhẹ để ngoại suy các token tương lai dựa trên trạng thái ẩn mà không làm giảm chất lượng tạo văn bản.