NVIDIA Công Bố Mô Hình Nemotron Bolt 3.5 74B A9B
NVIDIA chuẩn bị phát hành Nemotron Bolt 3.5 74B A9B, một mô hình mixture-of-experts 74 tỷ tham số với 9 tham số hoạt động, có thể chứa vừa vặn trong bộ nhớ 24GB. Ngoài ra, mô hình Nemotron 3.5 Bolt E4B 4GB cũng được lên lịch phát hành vào ngày 23 tháng 10. Mô hình này cung cấp một tùy chọn trọng số mở hiệu suất cao được tối ưu hóa cho việc triển khai cục bộ bằng cách cân bằng tốc độ xử lý nhanh với trí thông minh mạnh mẽ trong một dung lượng bộ nhớ khiêm tốn. Nó cho phép người dùng chạy các tính năng AI nâng cao trên phần cứng tiêu dùng thông thường. Mô hình sử dụng các kỹ thuật lượng tử hóa 2-bit nâng cao và đào tạo nhận thức lượng tử hóa để giảm đáng kể mức sử dụng bộ nhớ trong khi vẫn duy trì chất lượng. Nó được thiết kế để chạy nhanh hơn các mô hình đặc (dense model) thông thường đồng thời duy trì độ thông minh cao hơn so với các mô hình MoE có kích thước tương đương.
## KIẾN THỨC NỀN
Mô hình mixture-of-experts chia mạng AI thành nhiều mô hình chuyên gia chuyên biệt để mở rộng dung lượng mà không làm tăng chi phí tính toán đang hoạt động. Quá trình lượng tử hóa làm giảm độ chính xác của trọng số mô hình để tiết kiệm bộ nhớ, trong khi việc đào tạo nhận thức lượng tử hóa giúp giảm thiểu sự suy giảm độ chính xác thường xảy ra trong quá trình này.