Claude API Hỗ Trợ Thay Đổi Công Cụ Giữa Cuộc Hội Thoại Mà Không Làm Mất Cache
Nền tảng Claude của Anthropic đã cập nhật tính năng cho phép thêm hoặc bớt các công cụ ngay giữa cuộc hội thoại mà không làm mất bộ nhớ đệm prompt (prompt cache). Ngoài ra, nền tảng cũng bổ sung tính năng định tuyến dự phòng (fallback routing), tự động chuyển hướng các yêu cầu bị bộ phân loại chặn sang một mô hình được đề xuất phù hợp. Cập nhật này giúp giảm đáng kể độ trễ và chi phí API cho các nhà phát triển đang xây dựng các hệ thống agent phức tạp cần thay đổi công cụ một cách linh hoạt. Nó loại bỏ việc phải xử lý lại các prompt hệ thống dài hoặc lịch sử hội thoại khi các công cụ được điều chỉnh. Bằng cách duy trì prompt cache khi thay đổi công cụ, các nhà phát triển có thể giữ tốc độ phản hồi nhanh ngay cả khi khả năng của agent thay đổi. Cơ chế định tuyến dự phòng mới giúp tăng tính ổn định của hệ thống bằng cách tự động xử lý các yêu cầu bị chặn bởi các bộ phân loại nội dung hoặc an toàn.
## KIẾN THỨC NỀN
Prompt caching (lưu bộ nhớ đệm prompt) là kỹ thuật mà nhà cung cấp LLM lưu lại trạng thái đã xử lý của các đoạn prompt lặp đi lặp lại, như hướng dẫn hệ thống hoặc ngữ cảnh dài, nhằm tránh tính toán dư thừa. Sử dụng công cụ (tool use), hay gọi hàm (function calling), cho phép LLM tương tác với các cơ sở dữ liệu và API bên ngoài bằng cách tạo ra các đối số có cấu trúc. Trước đây, việc thay đổi danh sách công cụ khả dụng giữa phiên làm việc sẽ làm thay đổi cấu trúc prompt, buộc hệ thống phải hủy cache và xử lý lại toàn bộ đầu vào.