NVIDIA phát hành mô hình ngôn ngữ nhỏ Nemotron-3.5-Bolt-E4B-4GB
NVIDIA đã phát hành mô hình ngôn ngữ nhỏ NVIDIA-Nemotron-3.5-Bolt-E4B-4GB, được huấn luyện tiếp từ Gemma nhằm phục vụ cho các ứng dụng trợ lý giọng nói cục bộ và thiết bị biên có dung lượng bộ nhớ thấp, độ trễ thấp. Mô hình này cải thiện khả năng trò chuyện, sử dụng công cụ nhiều lượt và tuân theo hướng dẫn cho các giao diện nhúng. Bản phát hành này cung cấp cho các nhà phát triển một công cụ hiệu quả được tối ưu hóa cho hoạt động có bộ nhớ thấp và thời gian tạo token đầu tiên nhanh chóng trên các thiết bị biên. Điều này cho phép các trợ lý giọng nói cục bộ và tác nhân tương tác phản hồi nhanh hơn trong khi vẫn duy trì không gian phần cứng trống. Mô hình sẵn sàng cho mục đích thương mại hoặc phi thương mại và hỗ trợ các định dạng GGUF để chạy cục bộ. Người dùng cũng có thể tận dụng bộ phác thảo DFlash đi kèm để giải mã phỏng đoán hoặc chuyển sang phiên bản BF16 để đạt độ chính xác đầy đủ.
## KIẾN THỨC NỀN
Giải mã phỏng đoán là một kỹ thuật tối ưu hóa thời gian suy luận, sử dụng một mô hình nháp nhỏ hơn để đề xuất nhiều token ứng viên, sau đó mô hình mục tiêu lớn hơn sẽ xác minh đồng thời nhằm giảm độ trễ. GGUF là một định dạng tệp tối ưu được thiết kế để chạy các mô hình ngôn ngữ lớn một cách hiệu quả trên phần cứng cục bộ của người dùng.