Vega: Mô hình ra quyết định dựa trên vật lý 800 triệu tham số được mở mã nguồn
Tác giả Nandakishor_ml đã mở mã nguồn Vega, một mô hình ra quyết định dựa trên vật lý 800 triệu tham số (có cả phiên bản 4B tham số) hỗ trợ đầu vào hình ảnh đa thức và cửa sổ ngữ cảnh 73k token. Được phát triển trong dự án Laya, Vega sử dụng kiến trúc engine và adapter dựa trên Huấn luyện tại thời điểm kiểm thử (TTT) để ánh xạ trực tiếp dữ liệu đầu vào thành các địa hình quyết định dựa trên vật lý. Bằng cách thay thế thế hệ sinh văn bản tự hồi quy truyền thống bằng mô phỏng vật lý dựa trên vectơ, Vega mang đến một giải pháp mã nguồn mở gọn nhẹ thay thế các mô hình ra quyết định độc quyền như Jev. Kích thước nhỏ gọn và khả năng xử lý ngữ cảnh dài của mô hình cho phép thực hiện các tác vụ phân loại hiệu quả, độ trễ thấp và hạn chế ảo giác trên phần cứng cục bộ. Vega trích xuất các vectơ quan sát, câu hỏi, kết quả và token từ các lớp ẩn bên trong của LLM/VLM để xây dựng một địa hình mô phỏng chứa các thung lũng kết quả (như CÓ hoặc KHÔNG). Quá trình chọn quyết định được mô hình hóa như một quả bóng lăn xuống địa hình năng lượng này chịu tác động của ma sát cho đến khi dừng lại ở thung lũng kết quả ứng viên tối ưu.
## KIẾN THỨC NỀN
Huấn luyện tại thời điểm kiểm thử (Test-Time Training - TTT) là một mô hình kiến trúc trong đó các lớp của mô hình tiếp tục học và cập nhật trạng thái trong quá trình suy luận trên ngữ cảnh được cung cấp, giúp xử lý ngữ cảnh dài mà không bị giới hạn bộ nhớ theo cấp số nhân. Trong khi đó, các mô hình ra quyết định kiểu định nghĩa loại bỏ việc sinh văn bản thông thường để đưa ra trực tiếp các kết quả quyết định có cấu trúc, giúp giảm hiện tượng ảo giác trong các quy trình AI xử lý tác vụ.