DecisionTune 1.0 Ra Mắt: Mô Hình Encoder 395M Cho Phép Ra Quyết Định AI Cục Bộ Siêu Nhanh
DecisionTune 1.0 đã được phát hành theo giấy phép Apache-2.0, giới thiệu một mô hình encoder 395 triệu tham số dựa trên ModernBERT-large kết hợp với đầu chấm điểm 4 KB phục vụ việc ra quyết định cục bộ. Thay vì sinh văn bản, mô hình xử lý đầu vào trạng thái và các lựa chọn chỉ trong một lượt duy nhất để xuất ra xác suất lựa chọn trong khoảng 10 ms cho mỗi truy vấn ngắn trên Apple Silicon thông qua MLX. Trong các hệ thống AI đại lý (agentic AI), việc vận hành các mô hình LLM tự hồi quy đầy đủ cho các nhiệm vụ thường nhật như định tuyến công cụ hoặc phân loại thẻ hỗ trợ sẽ gây ra độ trễ và chi phí tính toán không cần thiết. DecisionTune chuyển giao các nhiệm vụ lựa chọn nhỏ, thường xuyên này sang một encoder cục bộ mỏng nhẹ, cho phép ra quyết định gần như tức thì mà không phụ thuộc vào API bên ngoài. Mô hình sở hữu giới hạn ngữ cảnh 8.192 token và sẽ từ chối các đầu vào vượt quá kích thước, hỗ trợ các backend PyTorch, ONNX và Apple MLX với độ tương đồng kết quả giữa các backend đạt 99,85%. Tuy nhiên, mô hình yêu cầu chuỗi mô tả các lựa chọn phải rõ ràng để đạt độ chính xác cao, chỉ hỗ trợ tiếng Anh và không có khả năng lý luận tri thức tổng quát hay tính toán toán học.
## KIẾN THỨC NỀN
ModernBERT là một phiên bản cải tiến của kiến trúc transformer dạng encoder-only, được thiết kế để tăng cường hiệu suất, tốc độ và khả năng xử lý ngữ cảnh dài hơn so với các mô hình BERT cổ điển. Apple MLX là một bộ khung máy học mã nguồn mở được tối ưu hóa cho kiến trúc bộ nhớ hợp nhất của chip Apple Silicon, cho phép suy luận cục bộ đạt hiệu năng cao. Khác với các mô hình tự hồi quy sinh văn bản từng token một, các mô hình encoder đánh giá toàn bộ chuỗi ngữ cảnh cùng một lúc, giúp xử lý các tác vụ phân loại và chấm điểm nhanh hơn đáng kể.