Nhà phát triển biến máy chơi game Sony PS5 đã hack thành máy chủ AI cục bộ
Một nhà phát triển đã tạo ra PS5LM Plus, ứng dụng GPU gốc cho phép máy chơi game Sony PlayStation 5 đã được bẻ khóa chạy các mô hình ngôn ngữ lớn ở cục bộ, đạt tốc độ suy luận 20.9 token mỗi giây đối với mô hình 27B tham số đã được lượng tử hóa. Dự án này chứng minh tiềm năng chưa được khai thác của phần cứng máy chơi game cho các tác vụ AI cục bộ bằng cách tận dụng băng thông bộ nhớ cao để tăng tốc GPU. Nó mang đến một giải pháp thay thế sáng tạo để chạy các mô hình mã nguồn mở mạnh mẽ bên ngoài các môi trường máy tính cá nhân hoặc máy chủ truyền thống. Bằng cách cổng hóa trình điều khiển AMD RADV và sử dụng tính toán Vulkan thông qua llama.cpp, nhà phát triển đã nâng bộ nhớ khả dụng lên 11.4GB và đạt hiệu suất sử dụng GPU 100%. Công cụ này cũng tích hợp giao diện web, máy chủ API cục bộ tương thích với định dạng của OpenAI và Anthropic, đồng thời hỗ trợ tốc độ cao hơn nữa cho các mô hình nhỏ hơn.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến thực hiện suy luận cục bộ hiệu quả cho các mô hình ngôn ngữ lớn, đóng vai trò là thành phần cốt lõi cho nhiều công cụ AI. Vulkan là một API tiêu chuẩn mở, đa nền tảng, cho phép các nhà phát triển kiểm soát mức độ thấp đối với các GPU hiện đại để tính toán song song và xử lý đồ họa.