OpenAI ra mắt Decisions API độ trễ thấp cho việc định tuyến AI thời gian thực
Tại sự kiện DevDay 2026, OpenAI đã công bố Decisions API, một dịch vụ độ trễ thấp chuyên biệt được thiết kế để trả về kết quả phân loại và định tuyến có cấu trúc trong khoảng 150 mili giây. Được vận hành bởi mô hình mỏng nhẹ Luna của OpenAI, API này thực hiện các phép đánh giá đơn bước nhanh hơn gần 10 lần so với các cuộc gọi API thông thường. Sự kiện này đánh dấu bước chuyển dịch từ AI hội thoại tự do sang các nút quyết định nhanh và xác định trong kiến trúc phần mềm thực tế. Nó cho phép các nhà phát triển tích hợp trực tiếp logic quyết định bằng AI tốc độ cao vào hệ thống định tuyến hỗ trợ khách hàng, kiểm duyệt nội dung và điều phối luồng công việc của các agent. Các nhà phát triển cung cấp ngữ cảnh (văn bản hoặc hình ảnh) cùng với danh sách câu hỏi và các lựa chọn câu trả lời được định nghĩa trước, sau đó nhận lại phương án được chọn kèm điểm số độ tin cậy. API này tập trung trực tiếp vào các tác vụ đưa ra quyết định tốc độ cao, cạnh tranh với các giải pháp máy học chuyên biệt như mô hình Jev của TypeSafe.
## KIẾN THỨC NỀN
Các API Mô hình Ngôn ngữ Lớn (LLM) tiêu chuẩn thường gặp phải độ trễ cao do chúng phải sinh văn bản không cấu trúc theo từng token. Đối với các logic quan trọng như định tuyến tự động hoặc quy tắc kinh doanh, các nhà phát triển cần đầu ra có cấu trúc siêu nhanh thay vì tạo văn bản tự do, dẫn đến sự ra đời của các mô hình và điểm cuối chuyên biệt cho việc ra quyết định.