Mechrevo hé lộ mini PC Master Road X10 trang bị NVIDIA RTX Spark và AI SSD
Hãng sản xuất PC Mechrevo được cho là đang phát triển máy tính mini Master Road X10, trang bị vi xử lý NVIDIA RTX Spark kiến trúc Arm cùng 'AI SSD' tự phát triển. Hệ thống này được thiết kế để đẩy các mô hình AI cục bộ cỡ lớn từ DRAM sang ổ cứng NAND, đồng thời lưu và tái sử dụng ngữ cảnh đã xử lý nhằm giảm tải tính toán. Kiến trúc này trực tiếp giải quyết điểm nghẽn dung lượng bộ nhớ khi chạy các mô hình ngôn ngữ lớn (LLM) cục bộ trên phần cứng nhỏ gọn. Bằng cách tối ưu hóa quá trình chuyển dữ liệu sang SSD, các máy tính mini có thể chạy các mô hình AI lớn hơn nhiều mà không cần đến các cấu hình RAM đắt đỏ. AI SSD giúp tối ưu hóa việc tải mô hình và tái sử dụng ngữ cảnh key-value đã tính toán nhằm hạn chế nhược điểm về tốc độ của bộ nhớ flash. Về mặt phần cứng, nền tảng NVIDIA RTX Spark kết hợp CPU Grace Arm 20 nhân cùng GPU RTX kiến trúc Blackwell cho các tác vụ AI cục bộ.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn yêu cầu băng thông và dung lượng bộ nhớ rất cao để lưu trữ hàng tỷ tham số cùng bộ đệm ngữ cảnh trong quá trình suy luận. Các hệ thống truyền thống phụ thuộc vào VRAM tốc độ cao hoặc DRAM hệ thống, khiến việc chạy các mô hình khổng lồ trên thiết bị nhỏ gọn trở nên đắt đỏ hoặc bất khả thi. Các kỹ thuật chuyển tải (offloading) đẩy trọng số mô hình hoặc bộ đệm ngữ cảnh sang ổ cứng SSD NAND, kết hợp tối ưu hóa phần cứng lẫn phần mềm để giảm thiểu độ trễ.