Bonsai 1.7B Giải Bài Toán Vật Lý Với Tốc Độ 9,1 Token/Giây Trên CPU Intel N97 12W
Một người dùng AI cục bộ đã thử nghiệm chạy mô hình suy luận Bonsai 1.7B trên vi xử lý Intel N97 tiêu thụ điện năng thấp 12 watt. Cấu hình này đã giải thành công các bài toán vật lý đơn giản với tốc độ suy luận đạt khoảng 9,1 token mỗi giây. Thử nghiệm này cho thấy các mô hình suy luận nhỏ được lượng hóa sâu có thể thực hiện các tác vụ AI cục bộ hữu ích trên phần ứng phổ thông mà không cần GPU rời. Điều này khẳng định tính khả thi ngày càng cao của việc chạy các trợ lý AI riêng tư trên các máy tính Mini PC chi phí thấp và thiết bị biên. Dòng mô hình Bonsai của Prism ML dựa trên các định dạng lượng hóa cực hạn (như trọng số 1-bit hoặc ternary) để giảm thiểu yêu cầu băng thông bộ nhớ. Việc chạy trên Intel N97—vi xử lý 4 nhân giá rẻ với công suất 12W—mà đạt hơn 9 token/giây giúp việc suy luận LLM chỉ dùng CPU trở nên khả thi cho người dùng.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ nhỏ (SLM) dưới 3 tỷ tham số đang ngày càng được tối ưu hóa cho điện toán biên tiết kiệm năng lượng. Băng thông bộ nhớ thường là điểm nghẽn chính khi chạy LLM trên CPU thông thường, điều mà kỹ thuật lượng hóa cực hạn giúp giải quyết. Intel N97 là vi xử lý phân khúc phổ thông thường được trang bị trên các máy tính Mini PC giá rẻ.