Lập trình viên LLM nội bộ so sánh hệ thống cá nhân với quy mô doanh nghiệp
Một lập trình viên đã chia sẻ bài đăng hài hước mô tả thiết lập LLM nội bộ cá nhân chạy hai công cụ Strata ở mức 70 token mỗi giây và tiêu thụ 12 triệu token mỗi ngày. Họ đối chiếu điều này với mức sử dụng quy mô doanh nghiệp, ghi nhận một lập trình viên xử lý tới 34 triệu token mỗi phút. Bài viết này nhấn mạnh khoảng cách vận hành lớn giữa các hệ thống cá nhân của người có sở thích hoặc lập trình viên với khối lượng công việc AI cấp doanh nghiệp khổng lồ. Nó mang lại góc nhìn hài hước về bối cảnh AI hiện đại, nơi mức tiêu thụ token tăng theo cấp số nhân đối với các nhà phát triển doanh nghiệp. Người dùng đề cập đến việc chạy các công cụ đạt tốc độ 70 token mỗi giây cục bộ, trong khi khối lượng công việc doanh nghiệp được nhắc đến thuộc về một cựu lập trình viên của Cursor đóng góp hàng nghìn yêu cầu kéo (PR) mỗi tháng cho các công cụ AI như GrokBot.
## KIẾN THỨC NỀN
Các máy chủ suy luận LLM nội bộ cho phép người dùng chạy các mô hình ngôn ngữ lớn trên phần cứng cá nhân cho các tác vụ như lập trình và trò chuyện, đảm bảo quyền riêng tư mà không hoàn toàn phụ thuộc vào các API đám mây. Token đại diện cho các đơn vị văn bản cơ bản mà LLM xử lý, và token trên giây (tps) là một chỉ số chính đo lường tốc độ suy luận.