Anthropic bổ sung tính năng điều chỉnh mức độ nỗ lực giữa chừng vào Claude API
Anthropic đã giới thiệu một tính năng thử nghiệm (beta) cho Claude API, cho phép các nhà phát triển điều chỉnh động mức độ nỗ lực của mô hình ngay trong cuộc trò chuyện. Các nhà phát triển có thể thay đổi thiết lập này mà không cần sửa đổi cấu hình cấp cao, giúp chuyển đổi mượt mà giữa việc trò chuyện thông thường và phân tích phức tạp. Tính năng này giúp các nhà phát triển tối ưu hóa độ kỹ lưỡng của câu trả lời, tốc độ và chi phí một cách linh hoạt trong một luồng công việc duy nhất. Nhờ cho phép điều chỉnh giữa chừng mà không làm mất hiệu lực bộ nhớ đệm prompt, nó nâng cao cả hiệu quả vận hành lẫn tiết kiệm chi phí cho người xây dựng ứng dụng. Các nhà phát triển có thể điều chỉnh mức nỗ lực bằng cách chèn một thông điệp hệ thống trống với thiết lập `output_config.effort` vào chuỗi thông điệp. Thay đổi này có hiệu lực bắt đầu từ tin nhắn người dùng tiếp theo chứa đầu vào mới, ảnh hưởng đến quá trình suy luận, gọi công cụ và tạo văn bản.
## KIẾN THỨC NỀN
Bộ nhớ đệm prompt là kỹ thuật được các nhà cung cấp LLM sử dụng để lưu trữ và tái sử dụng ngữ cảnh prompt thường xuyên truy cập, giúp giảm đáng kể độ trễ và chi phí API. Các tham số nỗ lực suy luận kiểm soát số lượng token mà mô hình phân bổ cho quá trình suy nghĩ và xử lý nội bộ trước khi trả lời, giúp cân bằng giữa tốc độ thực thi và độ sâu của câu trả lời.