Thảo luận trên LocalLLaMA về tự host mô hình sinh 3D trên phần cứng VRAM thấp
Một người dùng trong cộng đồng LocalLLaMA đã xin gợi ý về các mô hình sinh đối tượng 3D nguồn mở có thể tự host trên cấu hình phần cứng hạn chế. Người dùng này muốn thiết lập một quy trình tự động hóa phát triển game khép kín trên máy tính xách tay chỉ có 6GB VRAM. Điều này cho thấy sự quan tâm ngày càng tăng của các nhà phát triển trong việc xây dựng quy trình tự động hóa cục bộ kết hợp giữa LLM và tạo tài nguyên 3D để làm game độc lập. Nó cũng làm nổi bật những thách thức kỹ thuật khi vận hành các hệ thống AI đa thức tiêu tốn nhiều bộ nhớ trên phần cứng phổ thông. Kiến trúc đề xuất sử dụng Hermes Agent của Nous Research để điều phối Qwen lập trình, áp dụng kỹ thuật giải phóng bộ nhớ (offloading) luân chuyển giữa VRAM và RAM để chuyển đổi giữa chạy LLM và tạo mô hình 3D. Do giới hạn tốc độ xử lý trên 6GB VRAM, quy trình được thiết kế để chạy bất đồng bộ trong nền như một thử nghiệm tự động.
## KIẾN THỨC NỀN
Meshy là công cụ AI thương mại trên nền tảng đám mây giúp chuyển đổi văn bản hoặc hình ảnh 2D thành mô hình và kết cấu 3D. Trong khi đó, Hermes Agent là hệ thống agent AI nguồn mở do Nous Research phát triển, được thiết kế để thực thi các tác vụ tự động đa bước, sử dụng công cụ và vận hành các LLM cục bộ. Việc tự host ứng dụng sinh tài nguyên 3D thường đòi hỏi các mô hình AI chuyên dụng tiêu tốn nhiều VRAM của GPU, gây khó khăn cho việc triển khai trên phần cứng cấu hình thấp.