~/AI ARCHITECT/amazon-saves-millions-by-replacing-sonnet-with-strands-decider

Amazon tiết kiệm hàng triệu đô la bằng cách thay thế Sonnet bằng Strands Decider

Amazon đã đạt được mức tiết kiệm chi phí đáng kể trong các tác vụ phân loại tự động bằng cách thay thế các lệnh gọi LLM tốn kém bằng một đường ống định tuyến chuyên specialized gọi là Strands Decider. Công cụ chuyên biệt này đã giúp tối ưu hóa các quy trình phụ trợ của họ để xử lý các yêu cầu và vé vận hành khác nhau. Nghiên cứu tình huống này làm nổi bật một xu hướng rộng lớn hơn trong ngành là chuyển dịch từ các mô hình LLM đa năng đắt đỏ sang các mô hình định tuyến nhỏ gọn, hiệu quả hơn cho các tác vụ phụ trợ có khối lượng lớn. Nó minh họa cách các nhóm kỹ thuật có thể giảm thiểu chi phí vận hành một cách đáng kể mà không làm giảm hiệu suất đối với các khối lượng công việc phân loại cụ thể. Strands Decider là một mô hình quyết định 2B nhỏ gọn và nhanh chóng được thiết kế riêng cho các tác vụ phân loại, định tuyến và chấm điểm. Bằng cách xử lý khối lượng lớn các cảnh báo, kết quả bảo mật và yêu cầu dung lượng, đường ống này đã tiết kiệm khoảng 21.700 USD cho mỗi triệu vé được xử lý.

## KIẾN THỨC NỀN

Các mô hình ngôn ngữ lớn (LLM) thường được sử dụng ban đầu để tạo mẫu nhanh các tính năng AI vì chúng đòi hỏi ít thiết lập hơn so với các đường ống học máy truyền thống. Tuy nhiên, việc vận hành các mô hình lớn cho các tác vụ phân loại đơn giản thường tốn kém quá mức khi triển khai ở quy mô lớn, thúc đẩy các kỹ sư áp dụng các mô hình định tuyến chuyên biệt hoặc bộ phân loại truyền thống.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#AI Architecture#Cost Optimization#Machine Learning#LLMs#Engineering

$ subscribe --daily