SpecPilot: Khám phá thuật toán tự động và tối ưu hóa hệ thống cho giải mã phỏng đoán
SpecPilot là một framework dựa trên tác nhân tự động mới, được thiết kế để khám phá và tối ưu hóa các thuật toán cũng như cấu hình hệ thống dành riêng cho giải mã phỏng đoán trong các mô hình ngôn ngữ lớn. Mà không cần huấn luyện hay gây suy giảm chất lượng, hệ thống này giúp tăng tốc độ suy luận đáng kể so với các hệ thống thông thường. Framework này giải quyết hạn chế rằng các cấu hình giải mã phỏng đoán tiêu chuẩn không phù hợp với mọi môi trường triển khai, mô hình nháp, mô hình mục tiêu hay GPU. Bằng cách tự động hóa việc khám phá thuật toán, công cụ này đẩy hiệu năng đến gần hơn với giới hạn lý thuyết trên nhiều môi trường phục vụ khác nhau. SpecPilot sử dụng mô hình chi phí, các tác nhân song song, kỹ thuật ép token để ngăn chặn hiện tượng gian lận phần thưởng, và bộ nhớ cấu trúc để tìm ra các cơ chế như định dạng trọng số 12-bit cùng các chiến lược gộp batch mới. Qua các đánh giá, hệ thống đã nâng tốc độ xử lý đơn yêu cầu so với giải mã tự hồi quy từ 4.46x lên 10.87x và tốc độ xử lý batch từ 1.94x lên 3.93x.
## KIẾN THỨC NỀN
Giải mã phỏng đoán là một kỹ thuật tối ưu hóa thời gian suy luận cho các mô hình ngôn ngữ lớn tự hồi quy, giúp tạo ra nhiều token ứng viên trong mỗi bước giải mã bằng cách sử dụng một mô hình nháp nhỏ hơn, sau đó được xác thực đồng thời bởi một mô hình mục tiêu lớn hơn. Giải mã tự hồi quy là quá trình mô hình tạo ra một chuỗi đầu ra một cách đệ quy bằng cách dự đoán token tiếp theo dựa trên các đầu ra trước đó, vốn thường bị giới hạn băng thông bộ nhớ và chạy chậm.