Chỉ số "Intelligence per Watt" mới đo lường hiệu quả năng lượng của AI cục bộ
Các nhà nghiên cứu đã giới thiệu "Intelligence per Watt" (Trí tuệ trên mỗi Watt), một chỉ số và khung đánh giá hiệu năng mới được thiết kế để đo lường hiệu quả năng lượng khi chạy các mô hình AI trên phần cứng cục bộ. Khung đánh giá này giúp định lượng mức độ hiệu quả của các hệ thống cục bộ trong việc chuyển đổi điện năng thành kết quả đầu ra thông minh. Khi việc triển khai LLM cục bộ và AI biên ngày càng phát triển, mức tiêu thụ năng lượng đã trở thành một nút thắt cổ chai quan trọng. Chỉ số này cung cấp một phương pháp chuẩn hóa để tối ưu hóa hiệu suất mô hình trong giới hạn nguồn điện, hỗ trợ phát triển xu hướng "Green AI" (AI xanh) bền vững. Chỉ số này vượt ra ngoài các phép đo điện năng truyền thống chỉ dựa trên phần cứng bằng cách liên kết trực tiếp mức tiêu thụ năng lượng với chất lượng và độ chính xác của đầu ra AI. Điều này đặc biệt quan trọng đối với các thiết bị tính toán biên, nơi tài nguyên năng lượng bị giới hạn nghiêm ngặt.
## KIẾN THỨC NỀN
Theo truyền thống, hiệu quả của trung tâm dữ liệu và phần cứng được đo lường bằng các chỉ số như Hiệu quả sử dụng điện năng (PUE) hoặc thông lượng thô. Tuy nhiên, với sự trỗi dậy của các mô hình ngôn ngữ lớn, ngành công nghiệp đang chuyển dịch sang các chỉ số tập trung vào đầu ra như số lượng token trên mỗi watt. Green AI (AI xanh) là một lĩnh vực mới nổi tập trung vào việc giảm thiểu tác động môi trường và dấu chân carbon của AI trong suốt vòng đời của nó.