Bản thử nghiệm kết hợp mô hình thế giới tương tác cho game RPG phong cách Fallout

Một nhà phát triển đã trình diễn bản thử nghiệm sơ bộ kết hợp mô hình sinh video MiniMax H3 với Gemma Vision LLM 12B để tạo vòng lặp lối chơi RPG tương tác. Hệ thống chuyển đổi các cảnh 2D đẳng hướng lấy cảm hứng từ Fallout thành môi trường 3D thể tích có phản ứng động theo hành động của người chơi. Dự án này cho thấy cách kết hợp mô hình thế giới dạng video và mô hình thị giác - ngôn ngữ để mô phỏng engine game hoàn toàn bằng AI generative. Nó mở ra hướng đi cho tương lai nơi thế giới, cơ chế và phản ứng hình ảnh trong game được tạo ra tức thì thay vì lập trình theo cách truyền thống. Hệ thống vận hành theo các đoạn 10 giây chia làm hai giai đoạn: 5 giây đầu cho người dùng điều khiển bằng phím WASD hoặc câu lệnh, tiếp theo là 5 giây phản ứng của AI khi Vision LLM tính toán chỉ số RPG, điểm máu HP và phản công của kẻ thù. Bản dựng hiện phát video ở độ phân giải 352p với 3 bước khuếch tán, phục vụ cho giao diện Vascura FRONT.