Người dùng Reddit mua thiết bị phần cứng Spark AI nguyên seal với giá 4.000 USD
Một người dùng trên diễn đàn r/LocalLLaMA đã mua được một thiết bị phần cứng Spark AI nguyên seal qua Craigslist với giá 4.000 USD để tự chạy các mô hình ngôn ngữ lớn nguồn mở. Người mua giao dịch với một người bán vừa trúng thưởng thiết bị này trong một buổi bốc thăm và muốn bán lại nhanh với giá rẻ hơn thị trường. Việc vận hành các mô hình AI lớn tại nhà đòi hỏi phần cứng chuyên dụng hiệu năng cao, vốn có mức giá rất đắt đỏ đối với các nhà phát triển cá nhân và người đam mê công nghệ. Việc săn tìm giao dịch trên thị trường đồ cũ phản ánh nhu cầu lớn cũng như rào cản chi phí phần cứng mà cộng đồng gặp phải khi xây dựng hạ tầng AI tự lưu trữ. Người mua cho biết giá bán lẻ của các hệ thống Spark mới đã tăng lên mức 5.000 đến 6.000 USD trước khi họ tìm thấy mức giá 4.000 USD. Hệ thống này sẽ được dùng để vận hành các LLM nguồn mở tại chỗ, giúp tránh chi phí đăng ký định kỳ và không bị phụ thuộc vào điện toán đám mây.
## KIẾN THỨC NỀN
Lưu trữ LLM tại chỗ (Local LLM hosting) là việc chạy các mô hình trí tuệ nhân tạo nguồn mở trực tiếp trên phần cứng cá nhân thay vì phụ thuộc vào các API đám mây bên thứ ba. Phương pháp tự vận hành này mang lại độ bảo mật cao, không có độ trễ do mạng và toàn quyền kiểm soát dữ liệu, nhưng đòi hỏi máy trạm được trang bị GPU mạnh mẽ cùng băng thông bộ nhớ cao. Khi các mô hình nguồn mở ngày càng phát triển, nhu cầu sở hữu phần cứng đủ sức chạy các mô hình hàng chục tỷ tham số cũng tăng mạnh.