Sam Altman cho rằng suy luận AI cục bộ là sự lãng phí tài nguyên khan hiếm
Giám đốc điều hành OpenAI Sam Altman lập luận rằng việc chạy suy luận cục bộ trên máy tính cá nhân là sự phân bổ tài nguyên phần cứng toàn cầu kém hiệu quả. Ông cho rằng việc để nguồn cung DRAM hạn chế ở trạng thái nhàn rỗi trên các thiết bị cá nhân phần lớn thời gian kém hơn rất nhiều so với việc tối đa hóa việc sử dụng đám mây trong các trung tâm dữ liệu. Quan điểm này làm nổi bật cuộc xung đột triết học đang diễn ra giữa các nhà cung cấp cơ sở hạ tầng đám mây tập trung và những người ủng hộ việc triển khai AI cục bộ mã nguồn mở, phi tập trung. Nó nhấn mạnh những hạn chế khổng lồ về phần cứng và năng lượng mà ngành công nghiệp trí tuệ nhân tạo phải đối mặt ở quy mô lớn. Altman chỉ ra cụ thể rằng phần cứng của người tiêu dùng bị tận dụng rất thấp, lưu ý rằng các thiết bị cá nhân chỉ sử dụng các thành phần đắt tiền như DRAM trong một phần nhỏ thời gian. Ngược lại, các trung tâm dữ liệu đám mây có thể đạt được tỷ lệ sử dụng cao để chống lại tình trạng thiếu hụt nguồn cung.
## KIẾN THỨC NỀN
Suy luận cục bộ, hay suy luận trên thiết bị, đề cập đến việc chạy các mô hình ngôn ngữ lớn trực tiếp trên phần cứng cục bộ như máy tính cá nhân hoặc điện thoại thông minh thay vì dựa vào máy chủ đám mây từ xa. Điện toán đám mây dựa vào các trung tâm dữ liệu tập trung để xử lý hiệu quả khối lượng công việc tính toán nặng và chia sẻ tài nguyên cho nhiều người dùng.