~/LOCALLLAMA/revolut-slashes-ai-coding-costs-10x-by-moving-to-self-hosted-models

Revolut cắt giảm 10 lần chi phí lập trình AI bằng cách chuyển sang mô hình tự lưu trữ

Công ty công nghệ tài chính Anh quốc Revolut đã giảm gấp mười lần chi phí lập trình AI bằng cách chuyển đổi từ các API thương mại như Claude sang sử dụng các mô hình mã nguồn mở tự lưu trữ. Sự dịch chuyển kiến trúc này giúp công ty duy trì tốc độ phát triển trong khi cắt giảm mạnh mẽ các chi phí vận hành. Động thái này làm nổi bật xu hướng doanh nghiệp ngày càng chuyển dịch từ các API đám mây độc quyền đắt đỏ sang các giải pháp thay thế mã nguồn mở tự lưu trữ tiết kiệm chi phí cho các khối lượng công việc kỹ thuật nặng. Điều này chứng minh rằng các tổ chức có thể đạt được khoản tiết kiệm tài chính lớn mà không làm giảm hiệu suất cần thiết cho việc phát triển phần mềm. Bằng cách triển khai các mô hình mã nguồn mở trên cơ sở hạ tầng của riêng mình, các nhóm kỹ thuật tránh được các mô hình định giá theo token từ các nhà cung cấp thương mại vốn tốn kém khi thực hiện các tác vụ lập trình khối lượng lớn. Việc quản lý các mô hình nội bộ cũng cấp cho công ty fintech quyền kiểm soát lớn hơn đối với quyền riêng tư dữ liệu và tính tùy chỉnh của cơ sở hạ tầng.

## KIẾN THỨC NỀN

Các API AI thương mại do các công ty như Anthropic (Claude) hoặc OpenAI cung cấp tính phí người dùng dựa trên khối lượng văn bản được xử lý, đo bằng token. Tự lưu trữ bao gồm việc tải xuống các mô hình có trọng số mở và chạy chúng trên các máy chủ hoặc phiên bản đám mây của riêng tổ chức bằng các framework suy luận chuyên dụng như vLLM hoặc Ollama, mang lại chi phí dài hạn thấp hơn cho các trường hợp sử dụng lớn của doanh nghiệp.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#LocalLLaMA#Enterprise AI#Cost Optimization#Self-Hosted#AI Coding

$ subscribe --daily

Revolut cắt giảm 10 lần chi phí lập trình AI bằng cách chuyển sang mô hình tự lưu trữ | Daily News