Chạy mô hình AI khổng lồ 566GB cục bộ trên Jetson AGX Thor

Một nhà phát triển đã chạy thành công mô hình AI FP8 khổng lồ 566GB cục bộ trên bộ công cụ phát triển Jetson AGX Thor 128GB. Giới hạn phần cứng khắc nghiệt này dẫn đến tốc độ xử lý chậm đến mức khó tin là 0.646 token mỗi giây. Bài đăng này nhấn mạnh nỗ lực cực đoan của những người đam mê LLM cục bộ nhằm phá vỡ giới hạn phần cứng bằng cách chạy các mô hình quy mô lớn trên thiết bị biên. Đây là một câu chuyện vui nhộn minh họa cho khoảng cách khổng lồ giữa kích thước mô hình cấp doanh nghiệp và giới hạn bộ nhớ phần cứng biên. Mô hình MiMo-2.6-Pro được đọc từ đĩa ngay trong quá trình suy luận và được chuyển tải vất vả qua bộ nhớ 128GB của Jetson AGX Thor. Mọi tầng giải mã và chuyên gia định tuyến đều được theo dõi từng bước bất chấp tốc độ tạo token bị nghẽn cổ chai.