Amazon Gặp Sự Cố Vượt Ngân Sách AI Nghiêm Trọng, Một Dự Án Vượt Hạn Mức 860%
Các báo cáo nội bộ của Amazon tiết lộ nhiều trường hợp vượt ngân sách AI nghiêm trọng, bao gồm một dự án sử dụng mô hình Claude Sonnet của Anthropic đã chi vượt mức 1,8 triệu USD (vượt 860% ngân sách) và không được phát hiện trong suốt năm tháng. Các dự án bị ảnh hưởng khác bao gồm một công cụ kiểm toán tài chính và một hệ thống tối ưu hóa hậu cần, vốn cũng phát sinh hàng trăm nghìn USD chi phí ngoài kế hoạch. Sự cố này làm nổi bật các rủi ro tài chính nghiêm trọng khi triển khai các Mô hình Ngôn ngữ Lớn (LLM) mà không có các biện pháp kiểm soát chi phí phù hợp, vì các lỗi mã nguồn nhỏ vốn không tốn phí trong hệ thống truyền thống có thể gây ra chi phí khổng lồ dưới mô hình định giá dựa trên token. Điều này nhấn mạnh sự cần thiết ngày càng tăng của các thực hành FinOps và các rào chắn tự động trong kỹ nghệ AI doanh nghiệp. Tình trạng vượt ngân sách được thúc đẩy bởi sự thay đổi trong mô hình định giá AI từ đăng ký cố định sang tính phí dựa trên token, nơi chi phí tăng theo lượng dữ liệu được xử lý. Để ứng phó, các kỹ sư của Amazon đang phát triển các rào chắn tự động để giám sát và hạn chế việc sử dụng API AI, trong khi một số doanh nghiệp đang chuyển sang các mô hình nhỏ hơn hoặc các giải pháp thay thế mã nguồn mở để quản lý chi phí.
## KIẾN THỨC NỀN
Các Mô hình Ngôn ngữ Lớn (LLM) như Claude Sonnet của Anthropic xử lý văn bản bằng cách chia nhỏ thành các "token" (đơn vị từ con), và các nhà cung cấp API tính phí khách hàng dựa trên số lượng token đầu vào và đầu ra. FinOps (Hoạt động Tài chính) là một thực hành quản lý tài chính đám mây kết hợp giữa tài chính, công nghệ và hoạt động kinh doanh để tối ưu hóa chi tiêu cho cơ sở hạ tầng đám mây và AI. Nếu không có các công cụ giám sát và theo dõi chi phí LLM theo thời gian thực, các vòng lặp đệ quy hoặc các câu lệnh (prompt) kém hiệu quả trong ứng dụng AI có thể nhanh chóng tạo ra các hóa đơn khổng lồ ngoài dự kiến.