Nace AI Công Bố Cẩm Nang Kỹ Thuật Mở Cho Các Mô Hình Ra Quyết Định Drex
Nace AI đã tổ chức một buổi hỏi đáp (AMA) trên Reddit để chia sẻ toàn bộ cẩm nang kỹ thuật về quá trình huấn luyện Drex, bộ bốn mô hình ra quyết định mã nguồn mở tích hợp các đầu trỏ phi tự hồi quy và nền tảng kiến trúc đa dạng. Các mô hình này đạt thứ hạng hàng đầu trên OpenRouter và Artificial Analysis nhờ khả năng xuất ra phân phối xác suất chỉ trong một lần chạy duy nhất mà không cần giải mã tự hồi quy hay phân tích cú pháp đầu ra, mang lại giải pháp thay thế nhanh hơn cho các bộ định tuyến tác nhân AI và lựa chọn công cụ. Hồng sâm Drex bao gồm các mô hình xây dựng trên nền tảng mô hình ngôn ngữ khuếch tán, cấu trúc kết hợp Gated DeltaNet, mô hình hỗn hợp chuyên gia thưa (Sparse MoE) và kiến trúc dày tích hợp thị giác, được huấn luyện dựa trên 1,15 triệu bản ghi xác thực kèm theo các hình phạt nhất quán để giảm tỷ lệ lật thứ tự.
## KIẾN THỨC NỀN
Các mô hình ra quyết định khác với LLM trò chuyện truyền thống ở chỗ chúng đánh giá trạng thái ngữ cảnh và trả về phân phối xác suất qua các tùy chọn chỉ trong một lần truyền qua duy nhất. Các đầu trỏ phi tự hồi quy và nền tảng chú ý tuyến tính như Gated DeltaNet giúp tránh được chi phí tính toán bình phương thường gặp trong quá trình sinh tự hồi quy từng token tiêu chuẩn.