Người dùng đánh giá cao hiệu năng ấn tượng của mô hình LFM3-1.7B từ Liquid trên phần cứng AMD

Một người dùng đã chia sẻ các số liệu hiệu năng thực tế của mô hình LFM3-1.7B do Liquid AI phát triển, chạy qua llama.cpp và ROCm trên phần cứng AMD. Mô hình này cho thấy tính mạch lạc cao và tốc độ xử lý nhanh trên các cửa sổ ngữ cảnh lớn. Báo cáo này nêu bật tính khả thi khi chạy các ngôn ngữ nhỏ và hiệu quả trên phần cứng AMD phổ thông và biên cho các tác vụ như nén văn bản và tóm tắt. Nó cho thấy các thế hệ mô hình gần đây đạt được độ mạch lạc đáng ngạc nhiên bất chấp kích thước nhỏ gọn của chúng. Được thử nghiệm bằng định dạng Q8_0 GGUF, mô hình đạt khoảng 4.100 token mỗi giây ở giai đoạn tiền nạp (prefill) và 78 token mỗi giây ở giai đoạn giải mã (decode) trên iGPU AMD Strix Halo. Việc phân chia tensor trên các card đồ họa Radeon 7900 XTX và 7900 XT giúp đẩy hiệu suất lên xấp xỉ 7.100 token tiền nạp và 151 token giải mã mỗi giây, đồng thời vẫn giữ được sự ổn định ở các câu lệnh (prompt) từ 32k đến 64k token.