Nemotron 3.5 Bolt E4B Chạy Ở Tốc Độ 27.7 Tok/s Trên Jetson Orin Nano Super
Một bản cài đặt tối ưu hóa đã chạy thành công mô hình Nemotron 3.5 Bolt của NVIDIA trên thiết bị biên Jetson Orin Nano Super với tốc độ 27.7 token mỗi giây, đạt hiệu suất nhanh gấp 1.8 lần so với bản phát hành chính thức bằng Llama CPP. Bản demo này chứng minh rằng các mô hình AI năng lực cao có thể chạy cục bộ và hiệu quả trên phần cứng biên giá rẻ, cho phép các ứng dụng thực tế trên thiết bị như lập trình trò chơi mà không phụ thuộc vào đám mây. Tốc độ cải thiện đạt được nhờ sử dụng một biến thể tùy chỉnh của TensorRT edge LLM hỗ trợ lượng tử hóa INT4, đẩy hiệu suất suy luận lên 27.7 token mỗi giây so với mức tiêu chuẩn 15 token mỗi giây.
## KIẾN THỨC NỀN
TensorRT là bộ công cụ phát triển phần mềm suy luận học sâu hiệu suất cao của NVIDIA được thiết kế để tối ưu hóa các mạng nơ-ron nhằm triển khai hiệu quả trên các bộ tăng tốc phần cứng. Các mô-đun NVIDIA Jetson Orin Nano cung cấp hiệu suất AI mạnh mẽ ở mức tiêu thụ điện năng thấp, đóng vai trò là nền tảng cấp nhập môn cho việc phát triển AI ở thiết bị biên.