OpenAI dùng GPT-5.6 Sol để tối ưu hóa suy luận và giảm 20% chi phí vận hành

OpenAI đã triển khai một mô hình chuyên biệt mang tên GPT-5.6 Sol để tối ưu hóa quy trình suy luận của dòng mô hình GPT-5.6, giúp giảm chi phí dịch vụ đầu cuối lên tới 20%. Mô hình này tự động viết lại các nhân GPU (GPU kernels), tinh chỉnh chiến lược định tuyến và cải thiện kỹ thuật giải mã suy đoán (speculative decoding), giúp tăng hiệu suất tạo token hơn 15%. Thành tựu này làm nổi bật một ứng dụng mạnh mẽ của kỹ thuật hệ thống được hỗ trợ bởi AI (AI-assisted systems engineering), nơi các mô hình ngôn ngữ lớn (LLM) được sử dụng để tối ưu hóa chính hạ tầng triển khai của chúng. Trong bối cảnh chi phí vận hành LLM vẫn là rào cản lớn đối với các công ty AI, các ngăn xếp phần mềm tự tối ưu hóa có thể đẩy nhanh đáng kể lộ trình triển khai AI quy mô lớn với chi phí hiệu quả. GPT-5.6 Sol đã học các ngôn ngữ lập trình Triton và Gluon để viết lại các nhân GPU, đồng thời sử dụng công cụ mã nguồn mở FpSan (Floating-Point Sanitizer) để xác minh tính chính xác về mặt toán học của chúng. Mô hình này cũng phân tích lưu lượng truy cập thực tế để xác định tình trạng mất cân bằng tải và điều chỉnh các quy tắc định tuyến nhằm tối ưu hóa hiệu suất sử dụng phần cứng.