Nace.AI Phát Hành Drex Max v1: Mô Hình Quyết Định Đa Phương Thức 27B Trọng Số Mở
Nace.AI vừa phát hành Drex Max v1, một mô hình quyết định đa phương thức 27B trọng số mở sử dụng kiến trúc kết hợp giữa chú ý tuyến tính và chú ý toàn phần cùng đầu đọc không tự hồi quy. Thay vì tạo ra các token văn bản tuần tự, mô hình này xử lý toàn bộ ngữ cảnh và xuất ra xác suất cho tối đa 255 câu trả lời ứng viên chỉ trong một lần truyền thuận. Mô hình này giới thiệu một phương pháp suy luận không tự hồi quy được tối ưu hóa cho các tác vụ ra quyết định cục bộ tốc độ cao và sử dụng công cụ trên phần cứng phổ thông lẫn doanh nghiệp, bao gồm cả Apple Silicon. Bằng cách loại bỏ vòng lặp giải mã truyền thống, nó đạt được thời gian phản hồi nhanh khoảng 400ms đồng thời duy trì độ chính xác cao trên các tiêu chuẩn đánh giá có cấu trúc. Drex Max v1 sở hữu xương sống lai 64 tầng bao gồm 48 tầng chú ý tuyến tính Gated DeltaNet và 16 tầng chú ý toàn phần hai chiều, hỗ trợ độ dài ngữ cảnh lên tới 262K và hình ảnh 4 megapixel. Mô hình được phân phối theo giấy phép Open RAIL-M và chạy cục bộ thông qua các nhánh tùy chỉnh của llama.cpp và Ollama sử dụng định dạng lượng tử hóa Q8_0 GGUF.
## KIẾN THỨC NỀN
Các cơ chế chú ý tuyến tính như Gated DeltaNet xấp xỉ hóa cơ chế chú ý tiêu chuẩn để xử lý các chuỗi dài hiệu quả hơn bằng cách tránh sự gia tăng bộ nhớ theo hàm bậc hai của các transformer truyền thống. Các mô hình không tự hồi quy bỏ qua việc tạo ra từng token một, cho phép dự đoán song song các đầu ra phức tạp chỉ trong một lần truyền thuận duy nhất.