OpenAI ra mắt các tính năng tối ưu hóa bộ nhớ đệm prompt cho GPT-6
OpenAI đã giới thiệu các tính năng bộ nhớ đệm prompt (prompt caching) nâng cấp cho GPT-6, bao gồm các điểm ngắt thủ công (explicit breakpoints), công cụ chẩn đoán mới và khả năng kiểm soát cải tiến. Những cải tiến này giúp tăng tỷ lệ trúng bộ nhớ đệm, dẫn đến giảm độ trễ API và hạ chi phí thực thi. Bộ nhớ đệm prompt đóng vai trò then chốt trong việc mở rộng các ứng dụng AI có ngữ cảnh dài, như hội thoại nhiều lượt, phân tích tài liệu và quy trình đại lý AI vốn thường xuyên tái sử dụng các chỉ dẫn cố định. Việc trao quyền kiểm soát chi tiết cho nhà phát triển giúp các khối lượng công việc LLM lớn vận hành nhanh hơn và tiết kiệm hơn đáng kể. Nhà phát triển hiện có thể chèn các điểm ngắt bộ nhớ đệm thủ công trực tiếp vào các khối nội dung—như định nghĩa công cụ hoặc prompt hệ thống—để ấn định ranh giới lưu đệm chính xác. Bên cạnh đó, các số liệu chẩn đoán mới cung cấp khả năng theo dõi hiệu suất bộ nhớ đệm rõ ràng, hỗ trợ tối ưu hóa cấu trúc prompt để đạt tỷ lệ trúng tối đa.
## KIẾN THỨC NỀN
Khi một mô hình ngôn ngữ lớn xử lý văn bản đầu vào, nó phải tính toán các trạng thái chú ý giá trị-khóa (KV states) cho từng token, một quá trình tiêu tốn nhiều tài nguyên đối với các ngữ cảnh dài hoặc lặp đi lặp lại. Bộ nhớ đệm prompt giúp tránh tính toán trùng lặp bằng cách lưu trữ các trạng thái KV đã tính toán trước đó khi phát hiện các tiền tố giống nhau. Lưu đệm thủ công cho phép nhà phát triển tự đánh dấu các điểm ngắt chính xác thay vì chỉ phụ thuộc vào cơ chế khớp tiền tố tự động.