SpecOPD: Chưng cất trực tuyến song song nhánh cho giải mã suy đoán
Nhóm nghiên cứu Qwen đã giới thiệu SpecOPD, một khung chưng cất trực tuyến song song nhánh nhằm tăng tốc giải mã suy đoán bằng cách song song hóa việc lấy mẫu nháp và giám sát mục tiêu trên các cây đề xuất. Khung này đạt được độ dài chấp nhận trung bình cao hơn tới 41.45% và tốc độ tạo văn bản nhanh gấp 3.56 lần so với giải mã tự hồi quy thông thường, giúp cải thiện đáng kể hiệu suất suy luận của các mô hình ngôn ngữ lớn. SpecOPD sử dụng mặt nạ cây, các nhóm lập chỉ mục nhất quán theo nhánh và phát lại trạng thái được lập chỉ mục để đóng gói các nhánh độc lập thành các cây đề xuất, đồng thời huấn luyện mô hình nháp bằng một hàm surrogate E2E-TV hướng trực tiếp đến độ dài chấp nhận.
## KIẾN THỨC NỀN
Giải mã suy đoán giúp tăng tốc quá trình suy luận của mô hình ngôn ngữ lớn bằng cách sử dụng một mô hình nháp nhỏ hơn để tạo các token ứng cử viên, sau đó mô hình mục tiêu lớn hơn sẽ kiểm tra chúng song song. Chưng cất trực tuyến giúp cải thiện thêm mô hình nháp bằng cách cung cấp sự giám sát chi tiết ở cấp độ token trong khi mô hình học viên tự lấy mẫu quỹ đạo của chính nó.