LayerStoRm Cho Phép Trực Tuyến Mô Hình MoE Tốc Độ Cao Vượt Giới Hạn VRAM GPU
Nhà phát triển kkontosis đã phát hành LayerStoRm, một công cụ suy luận mã nguồn mở cho phép truyền phát (stream) các tham số Mixture-of-Experts (MoE) từ RAM hệ thống sang GPU theo nhu cầu. Công cụ đã chạy thành công mô hình GLM-5.3-Flash dung lượng 186 GiB chỉ với 96 GB VRAM trên các GPU RTX dòng 50 thương mại, đạt tốc độ tạo văn bản lên tới 24,5 token/giây. Việc vận hành các mô hình ngôn ngữ lớn hàng đầu trước đây yêu cầu hàng trăm gigabyte VRAM doanh nghiệp đắt đỏ. LayerStoRm hạ thấp đáng kể rào cản phần cứng bằng cách đẩy việc lưu trữ các expert MoE sang RAM hệ thống, cho phép các nhà phát triển thực thi các mô hình hàng trăm gigabyte trên hệ thống nhiều GPU thương mại. Công cụ này tận dụng RAM hệ thống thuần túy cho việc truyền phát trọng số và thực hiện toàn bộ tính toán toán học trên GPU, sử dụng các luồng truyền dữ liệu nhận biết NUMA tối đa hóa băng thông PCIe. Ngoài ra, LayerStoRm tích hợp bộ đệm tiền tố với các điểm kiểm tra giữa prompt tối ưu cho lập trình agentic, giúp giảm thời gian phản hồi token đầu tiên ở ngữ cảnh 97k từ 923 giây xuống còn 79 giây.
## KIẾN THỨC NỀN
Kiến trúc Mixture-of-Experts (MoE) giảm chi phí tính toán cho mỗi token bằng cách định tuyến dữ liệu vào các mạng con chuyên biệt gọi là expert, chỉ kích hoạt một tập hợp nhỏ trong tổng số tham số mô hình khi suy luận. Các phương pháp lượng tử hóa như UD-Q4_K_XL giúp nén trọng số mô hình xuống độ chính xác 4-bit để vừa với dung lượng bộ nhớ hạn chế mà không làm giảm đáng kể chất lượng.