SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
The Qwen team introduced SpecOPD, a branch-parallel on-policy distillation framework that accelerates speculative decoding by parallelizing draft sampling and target supervision across proposal trees. This framework achieves up to 41.45% higher mean acceptance length and a 3.56× generation speedup over standard autoregressive decoding, significantly improving large language model inference efficiency. SpecOPD uses tree masks, branch-consistent indexer groups, and indexed state replay to pack independent branches into proposal trees, training the drafter with an E2E-TV surrogate targeting acceptance length.
## BACKGROUND
Giải mã suy đoán giúp tăng tốc quá trình suy luận của mô hình ngôn ngữ lớn bằng cách sử dụng một mô hình nháp nhỏ hơn để tạo các token ứng cử viên, sau đó mô hình mục tiêu lớn hơn sẽ kiểm tra chúng song song. Chưng cất trực tuyến giúp cải thiện thêm mô hình nháp bằng cách cung cấp sự giám sát chi tiết ở cấp độ token trong khi mô hình học viên tự lấy mẫu quỹ đạo của chính nó.