NVIDIA ra mắt Nemotron 3.5 Bolt E4B cho các thiết bị biên và trợ lý giọng nói
NVIDIA vừa phát hành Nemotron 3.5 Bolt E4B, một mô hình ngôn ngữ đã qua huấn luyện hậu kỳ dựa trên nền tảng Gemma được tối ưu hóa cho các thiết bị biên và trợ lý giọng nói. Mô hình này được thiết kế để chạy cục bộ trên phần cứng như NVIDIA GeForce RTX, Jetson, RTX Spark và DGX Spark. Mô hình này mang lại chất lượng cao hơn đáng kể trong các tiêu chuẩn đánh giá hội thoại và tạo ra ít token hơn so với các đối thủ, giúp nó đạt hiệu suất cao cho các ứng dụng cục bộ thời gian thực. Điều này giúp các nhà phát triển xây dựng các trợ lý giọng nói phản hồi nhanh, nhân vật tương tác và giao diện robot trực tiếp trên phần cứng cục bộ. Bolt E4B đạt chất lượng trung bình cao hơn khoảng 40% so với các mô hình trước đó trên các tiêu chuẩn đánh giá tác nhân hội thoại chính, đồng thời tạo ra ít hơn tới 80% token. Mô hình tích hợp hội thoại tự nhiên với khả năng tác nhân đa lượt và khả năng neo đầu vào.
## KIẾN THỨC NỀN
Huấn luyện hậu kỳ là giai đoạn trong quá trình phát triển mô hình ngôn ngữ lớn nhằm tinh chỉnh các mô hình thô để cải thiện khả năng lập luận, tuân theo hướng dẫn và căn chỉnh mức độ an toàn. Điện toán biên liên quan đến việc chạy các mô hình AI trực tiếp trên các thiết bị phần cứng cục bộ thay vì máy chủ đám mây, giúp giảm độ trễ và sự phụ thuộc vào kết nối internet.