Bên trong thị trường chuyển tiếp ngầm cung cấp token LLM giá rẻ

Một cuộc điều tra đã hé lộ "thị trường chuyển tiếp" ngầm, nơi những kẻ bán lại sử dụng các công cụ proxy nguồn mở để bán token LLM giảm giá. Các token này được thu thập thông qua việc lạm dụng khóa API, khai thác bot hỗ trợ không được bảo vệ, dùng thử miễn phí và gian lận thẻ tín dụng. Lộ trình gian lận đang gia tăng này làm nổi bật các rủi ro bảo mật đối với các nhà phát triển AI, những người phải đối mặt với hóa đơn API khổng lồ nếu các điểm cuối công khai của họ bị khai thác để cung cấp cho hệ sinh thái bán lại này. Nó cũng tạo áp lực buộc các nhà cung cấp LLM phải triển khai các giới hạn chi tiêu và hạn mức sử dụng nghiêm ngặt hơn theo thời gian thực cho các khóa API. Những kẻ bán lại tận dụng các công cụ quản lý API nguồn mở hợp pháp như `one-api` và `new-api` để cân bằng tải các yêu cầu trên một nhóm thông tin xác thực. Người mua sử dụng các dịch vụ này để có được token giá rẻ, vượt qua các hạn chế về địa lý hoặc thu thập dữ liệu phục vụ cho việc chưng cất mô hình (model distillation).