DLite: Giải mã suy đoán không lịch sử dành cho AI tác tử
Các nhà nghiên cứu đã giới thiệu DLite, một khung giải mã suy đoán không lịch sử được thiết kế cho AI tác tử nhằm tái sử dụng các trạng thái ẩn của mô hình mục tiêu để thực hiện các dự đoán suy đoán cục bộ mà không cần duy trì bộ nhớ đệm KV lịch sử. Các thí nghiệm cho thấy DLite đạt chiều dài chấp nhận từ 2 đến 6 và vượt trội hơn các phương pháp tiên tiến nhất như DSpark tới 70%. Các mô hình dự thảo tiêu chuẩn gặp phải tình trạng giảm tới 80% chiều dài chấp nhận trong các tác vụ AI tác tử do ngữ cảnh kéo dài, thay đổi liên tục và chi phí bộ nhớ đệm KV cao. DLite biến bài toán mô hình hóa ngữ cảnh dài phức tạp này thành một bài toán dự đoán cục bộ đơn giản, giúp giảm đáng kể chi phí hệ thống và tăng tốc độ suy luận cho các ứng dụng AI tác tử. DLite sử dụng một lớp đầu tuần tự nhẹ để khôi phục các phụ thuộc nguyên nhân nội khối với chi phí thấp và được huấn luyện bằng một chiến lược huấn luyện hai giai đoạn tùy chỉnh. Mã nguồn và các điểm kiểm tra mô hình đã được cung cấp thông qua GitHub và HuggingFace.
## KIẾN THỨC NỀN
Giải mã suy đoán là một kỹ thuật tối ưu hóa thời gian suy luận cho các mô hình ngôn ngữ lớn, sử dụng một mô hình dự thảo nhỏ hơn để đề xuất nhiều mã thông báo ứng viên, sau đó được xác minh đồng thời bởi một mô hình mục tiêu lớn hơn. Bộ nhớ đệm KV lưu trữ các vectơ khóa và giá trị trung gian từ các mã thông báo đầu vào trước đó trong quá trình suy luận tự hồi quy, nhưng phát triển tuyến tính theo độ dài chuỗi và tạo ra các nút thắt cổ chai về tài nguyên nặng nề.