Thử nghiệm hiệu năng DeepSeek-V4-Flash trên Mac M2 Ultra bằng DwarfStar

Một người dùng đã chia sẻ kết quả thử nghiệm hiệu năng khi chạy cục bộ mô hình DeepSeek-V4-Flash trên máy Mac M2 Ultra (192GB RAM) bằng công cụ DwarfStar. Cấu hình này đạt tốc độ giải mã (decode) từ 28 token mỗi giây (t/s) ở giai đoạn đầu và giảm xuống 18 t/s ở độ sâu ngữ cảnh lên tới 192k. Điều này chứng minh tính khả thi của việc chạy cục bộ các mô hình ngôn ngữ lớn như DeepSeek V4 Flash trên phần cứng tiêu dùng cao cấp như Apple Silicon. Nó cho thấy cách các công cụ suy luận chuyên dụng và kỹ thuật lượng tử hóa giúp việc thiết lập AI cục bộ quy mô lớn trở nên thực tế mà không cần phụ thuộc vào API đám mây. Thử nghiệm cho thấy tốc độ giải mã từ 18-28 t/s vẫn được duy trì ngay cả khi xuất ra 8k token ở các độ sâu ngữ cảnh khác nhau. DwarfStar đạt được điều này bằng cách sử dụng phương pháp lượng tử hóa chọn lọc để nén kích thước mô hình, giúp nó tương thích với các hệ thống Mac có bộ nhớ lớn.