Lỗi thiết kế nén ngữ cảnh của Codex gây ra vòng lặp vô hạn và lãng phí token

Một nhà phát triển đã phát hiện ra lỗi thiết kế trong cơ chế nén ngữ cảnh của OpenAI Codex khi thực hiện các tác vụ dài hạn. Lỗi này khiến mô hình ngôn ngữ lớn (LLM) bị mất trạng thái trung gian sau khi nén, chỉ còn nhìn thấy các chỉ dẫn ban đầu và rơi vào vòng lặp vô hạn gây lãng phí token API. Vấn đề này làm nổi bật những thách thức trong việc quản lý cửa sổ ngữ cảnh của các tác nhân lập trình dựa trên LLM, nơi việc nén không đúng cách có thể dẫn đến tiêu thụ token ngoài tầm kiểm soát và lỗi thực thi. Các nhà phát triển phụ thuộc vào Codex cho các quy trình làm việc dài và phức tạp cần lưu ý lỗi này để tránh chi phí API phát sinh ngoài ý muốn. Khi quá trình nén ngữ cảnh diễn ra, tác nhân AI sẽ mất dấu tiến trình đã thực hiện và quay lại thực thi các chỉ dẫn ban đầu, từ đó kích hoạt một chu kỳ nén khác và lặp lại vô hạn. Hành vi này đặc biệt nghiêm trọng đối với các tác vụ kéo dài, nơi việc duy trì trạng thái qua nhiều bước là vô cùng quan trọng.