Các tập đoàn Hàn Quốc áp dụng hạn ngạch Token AI để kiểm soát chi phí
Các tập đoàn lớn của Hàn Quốc, bao gồm Samsung và SK Group, đang áp dụng hệ thống hạn ngạch token nghiêm ngặt đối với nhân viên sử dụng các mô hình AI nước ngoài như Claude, Gemini và ChatGPT. Biện pháp này nhằm hạn chế chi phí vận hành đang tăng nhanh do việc sử dụng AI doanh nghiệp với khối lượng lớn. Sự chuyển dịch này làm nổi bật thách thức quan trọng trong việc áp dụng AI tại doanh nghiệp, nơi các công ty phải cân bằng giữa hiệu quả năng suất của các LLM tiên tiến và chi phí API tăng vọt. Nó cũng nhấn mạnh sự căng thẳng kéo dài giữa việc tích hợp AI và bảo mật dữ liệu, đặc biệt là trong các lĩnh vực nhạy cảm như sản xuất bán dẫn. Theo hệ thống của Samsung, nhân viên nhận được hạn mức token dựa trên cấp bậc và phải chứng minh được hiệu quả năng suất thực tế để yêu cầu tăng hạn ngạch. Trong khi đó, các bộ phận bán dẫn tại Samsung và SK Hynix vẫn rất thận trọng, phần lớn hạn chế sử dụng LLM bên ngoài và ưu tiên các mô hình tự phát triển do lo ngại rò rỉ dữ liệu.
## KIẾN THỨC NỀN
Trong các mô hình ngôn ngữ lớn (LLM), "token" là đơn vị văn bản cơ bản—chẳng hạn như một từ, ký tự hoặc cụm từ phụ—mà mô hình xử lý và tạo ra. Do các nhà cung cấp AI thương mại tính phí doanh nghiệp dựa trên số lượng token đầu vào và đầu ra, việc sử dụng nhiều cho các tác vụ phức tạp như phát triển phần mềm có thể nhanh chóng dẫn đến chi phí vận hành khổng lồ.