Quy trình PDF kém hiệu quả làm tăng vọt chi phí token AI doanh nghiệp
Rò rỉ âm thanh nội bộ từ Accenture tiết lộ rằng các nhân viên không thuộc bộ phận kỹ thuật đang làm tăng chi phí AI do sử dụng các quy trình làm việc kém hiệu quả. Cụ thể, nhân viên đang chuyển đổi tài liệu PDF thành hình ảnh rồi mới chuyển thành tệp markdown, gây tiêu tốn một lượng token khổng lồ. Điều này làm nổi bật một thách thức lớn trong việc áp dụng AI tại doanh nghiệp, nơi sự thiếu hiểu biết về kỹ thuật của nhân viên phi kỹ thuật dẫn đến chi phí vận hành tăng vọt. Nó nhấn mạnh nhu cầu đào tạo tốt hơn và tối ưu hóa quy trình xử lý tài liệu khi các công ty đang nỗ lực kiểm soát chi phí AI tạo sinh. Vấn đề này được nêu ra bởi Justice Kwak, trưởng bộ phận chiến lược agentic AI của Accenture, và Stuart Henderson, trưởng nhóm khách hàng, những người lưu ý rằng việc chuyển đổi PDF sang markdown thông qua hình ảnh là tác nhân chính gây "ngốn token". PDF vốn nổi tiếng là khó phân tích trực tiếp đối với các LLM, khiến người dùng phải áp dụng các giải pháp vòng vo làm tăng gấp nhiều lần lượng token sử dụng.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn (LLM) tính phí người dùng dựa trên "token", là các đơn vị dữ liệu văn bản hoặc hình ảnh cơ bản được mô hình xử lý. PDF là một định dạng nổi tiếng là khó đọc đối với AI vì chúng thiếu thông tin bố cục có cấu trúc, thường buộc người dùng phải chuyển đổi chúng thành hình ảnh cho các LLM hỗ trợ thị giác máy tính hoặc thành văn bản markdown. Tuy nhiên, việc xử lý hình ảnh độ phân giải cao hoặc thực hiện chuyển đổi nhiều bước qua LLM đòi hỏi sức mạnh tính toán và lượng token lớn hơn nhiều so với xử lý văn bản thuần túy.