Động Cơ Strata Tăng Tốc Độ Suy Luận LLM Cục Bộ Lên 1.500 Token/Giây

Thử nghiệm hiệu năng từ người dùng cho thấy động cơ suy luận mới 'Strata' đạt tốc độ 51 token/giây khi tạo văn bản và 1.500 token/giây khi xử lý prompt trên GPU laptop Nvidia thông thường với mô hình Qwen3.8 định dạng GGUF. Kết quả này gấp khoảng 2 lần tốc độ tạo văn bản và 15 lần tốc độ xử lý prompt so với llama.cpp mặc định. Thử nghiệm này cho thấy các động cơ suy luận tinh chỉnh chuyên biệt có thể vượt trội hơn hẳn các môi trường chạy tổng quát như llama.cpp trên phần cứng tiêu dùng. Tốc độ xử lý prompt cực cao giúp việc chạy các mô hình ngữ cảnh dài trực tiếp trên laptop cho nhiệm vụ phân tích mã nguồn hoặc truy vấn tài liệu trở nên khả thi hơn nhiều. Được thử nghiệm trên laptop trang bị Nvidia RTX 5070 Ti (12GB VRAM) và 64GB RAM với bản định lượng IQ3_XXS từ ISTA-DASLab, Strata chiếm 11GB VRAM và 56GB RAM với chiều dài ngữ cảnh lên tới 131k token. Tuy nhiên, đánh đổi cho hiệu năng này là Strata hiện chỉ hỗ trợ các mô hình chuyên biệt cùng một số định dạng GGUF nhất định, và chủ yếu chạy trên GPU Nvidia.