Qwen3.8-27B Thể Hiện Khả Năng Tự Trị Vượt Trội Khi Chạy Cục Bộ Trên Phần Cứng Cá Nhân
Một người dùng đã chia sẻ trải nghiệm chạy cục bộ mô hình Qwen3.8-27B trên một card đồ họa RTX 3090 duy nhất, thể hiện các hành vi tự trị (agentic) nâng cao. Mô hình đã thực hiện thành công 80 lệnh gọi công cụ để lấy lịch học và tự cài đặt Whisper của OpenAI để dịch thuật một video đã tải xuống. Điều này cho thấy các mô hình AI tự trị có năng lực cao với khả năng suy luận và gọi công cụ đa bước phức tạp hiện có thể chạy hiệu quả trên phần cứng phổ thông. Nó làm nổi bật sự tiến bộ nhanh chóng của các LLM mã nguồn mở chạy cục bộ, giúp giảm sự phụ thuộc vào các API đám mây đóng cho các quy trình công việc phức tạp. Mô hình được chạy bằng bản lượng tử hóa Q4_K_S của Unsloth với KV cache được lượng tử hóa thành Q8, cho phép xử lý cửa sổ ngữ cảnh lên tới 150k. Nó đã thực hiện các tác vụ như trích xuất khung hình video, điều chỉnh độ sáng hình ảnh và tự cài đặt các thư viện Python bên ngoài mà không cần sự can thiệp của con người.
## KIẾN THỨC NỀN
Gọi công cụ (tool calling) cho phép các LLM tương tác với các API bên ngoài, cơ sở dữ liệu và môi trường thực thi mã để thực hiện các hành động ngoài việc tạo văn bản. Các kỹ thuật lượng tử hóa (quantization), chẳng hạn như định dạng GGUF của Unsloth và lượng tử hóa KV cache, giúp nén trọng số mô hình và giảm mức sử dụng bộ nhớ, cho phép các mô hình lớn chạy được trên GPU phổ thông như RTX 3090.