Các công cụ suy luận Strata và PolyStrata có hành vi 'Answer Room' ẩn

Các công cụ suy luận LLM Strata và PolyStrata chứa một hành vi ẩn có tên là 'answer_room' để tự động giới hạn token tư duy ở mức 75% giới hạn max_tokens. Sau đó, nó tiêm một thông điệp tổng kết trực tiếp vào luồng đầu ra của mô hình mà không thông báo cho client hay ghi nhật ký lỗi. Sự sửa đổi ẩn này làm thay đổi phản hồi của mô hình và làm gián đoạn các bảng ghi suy luận, gây ảnh hưởng đến việc đo chuẩn (benchmark), tính tái lập và hiệu suất xử lý các bài toán phức tạp. Các kỹ sư khi so sánh các công cụ này cần lưu ý rằng các mô hình phục vụ qua Strata sẽ nhận được các thông điệp thúc đẩy nội bộ không được yêu cầu. Được kích hoạt mặc định khi tính năng tư duy bật và max_tokens đạt tối thiểu 1024 mà không có ngân sách suy luận rõ ràng, công cụ này sẽ tiêm văn bản mô phỏng giọng điệu của mô hình để ép buộc kết thúc. Điều này làm cắt ngắn quá trình chuỗi suy nghĩ (Chain-of-Thought) một cách đột ngột và có thể làm giảm hiệu suất đối với các tác vụ suy luận khó.