Anthropic cập nhật công cụ thu phóng cho Claude giúp phân tích ảnh độ phân giải cao
Anthropic đã cập nhật tài liệu hướng dẫn (cookbook) về "công cụ thu phóng" (zoom tool), cho phép Claude yêu cầu và phân tích các vùng cắt có độ phân giải cao từ ảnh lớn. Điều này giúp ngăn chặn việc mất đi các chi tiết quan trọng thường xảy ra khi ảnh lớn bị giảm độ phân giải để đưa vào mô hình. Các mô hình ngôn ngữ lớn đa phương thức (Vision LLMs) thường gặp khó khăn với các chi tiết nhỏ trong biểu đồ, tài liệu hoặc sơ đồ lớn do quá trình tự động giảm độ phân giải. Giải pháp sử dụng công cụ này cho phép phân tích hình ảnh chi tiết và chính xác hơn mà không cần cửa sổ ngữ cảnh khổng lồ hoặc chi phí xử lý lớn cho toàn bộ bức ảnh độ phân giải cao. Tài liệu hướng dẫn minh họa cách triển khai công cụ cắt ảnh bằng khả năng gọi hàm (tool-calling) của Claude, cho phép mô hình yêu cầu tọa độ cụ thể của hình ảnh một cách linh hoạt. Hệ thống sau đó sẽ cắt ảnh gốc có độ phân giải cao tại các tọa độ đó và gửi lại phần ảnh cắt cho Claude để kiểm tra chi tiết.
## KIẾN THỨC NỀN
Các mô hình LLM đa phương thức xử lý hình ảnh bằng cách chuyển đổi chúng thành các token, nhưng chúng thường giảm độ phân giải của ảnh lớn để vừa với giới hạn token, điều này có thể làm mất chữ nhỏ hoặc chi tiết mịn. Gọi công cụ (tool calling) hay gọi hàm (function calling) là cơ chế cho phép LLM tương tác với mã nguồn hoặc API bên ngoài để thực hiện các tác vụ cụ thể. Bằng cách kết hợp các khái niệm này, các nhà phát triển có thể cung cấp cho LLM khả năng "thu phóng" vào các phần cụ thể của hình ảnh theo lập trình.