Cấu hình các cấp độ suy nghĩ và chế độ lập luận trong mô hình Qwen

Người dùng đang thảo luận về cách cấu hình các cấp độ và ngân sách "suy nghĩ" (lập luận) cho các mô hình Qwen, vốn hỗ trợ các chế độ như Hybrid (bật/tắt theo từng yêu cầu) và Thinking-only. Các cấu hình này có thể được điều chỉnh động theo từng yêu cầu bằng cách sử dụng các tham số như `enable_thinking` và `reasoning_effort`. Việc cho phép người dùng kiểm soát mức độ lập luận giúp cân bằng giữa chi phí tính toán và chất lượng phản hồi cho việc triển khai LLM cục bộ. Sự linh hoạt này giúp các mô hình Qwen có khả năng thích ứng cao cho các tác vụ từ phản hồi hội thoại nhanh đến giải quyết vấn đề phức tạp gồm nhiều bước. Cấp độ suy nghĩ có thể được gửi theo từng yêu cầu trong `chat_template_kwargs` bằng cách sử dụng các tham số như `enable_thinking`, `reasoning_effort` và `preserve_thinking` mà không cần khởi động lại máy chủ. Tùy thuộc vào mô hình, tính năng suy nghĩ có thể luôn hoạt động (Thinking-only) hoặc có thể bật/tắt (Hybrid).