Thử nghiệm GLM-5.3-Flash trên Mac Studio M5 Ultra bằng engine DwarfStar

Một người dùng đã chia sẻ kết quả thử nghiệm mô hình GLM-5.3-Flash bằng công cụ suy luận DwarfStar trên Mac Studio trang bị chip Apple M5 Ultra 80 nhân và 256GB RAM hợp nhất. Báo cáo chỉ ra rằng dù dung lượng bộ nhớ lớn cho phép nạp các mô hình nặng, hiệu năng tính toán của GPU lại trở thành nút thắt cổ chai rõ rệt trong quá trình suy luận đa bước. Việc chỉ ra các nút thắt cổ chai phần cứng trên hệ thống Apple Silicon bộ nhớ cao giúp các nhà phát triển và người dùng LLM cục bộ đưa ra lựa chọn tối ưu khi cấu hình phần cứng. Điều này làm rõ sự khác biệt giữa dung lượng bộ nhớ cần thiết để nạp mô hình và sức mạnh tính toán GPU thực tế để đạt tốc độ sinh văn bản cao. Người dùng lưu ý rằng dù 256GB RAM hợp nhất cho phép chạy các mô hình kích thước rất lớn, việc nâng cấp lên cấu hình 512GB có thể không mang lại hiệu quả tương ứng do giới hạn tốc độ xử lý của GPU. DwarfStar là một engine suy luận tinh gọn chuyên biệt được thiết kế để tối ưu hóa việc thực thi mô hình qua Metal trên phần cứng Apple và CUDA trên GPU.