Phát hành bản lượng tử hóa DeepSeek v4.1 Flash 1017 cho Apple Silicon cục bộ
Một nhà phát triển đã chia sẻ công thức lượng tử hóa trọng số mở cho DeepSeek v4.1 Flash 1017, được tối ưu hóa để chạy cục bộ và truyền phát qua ổ SSD trên các hệ thống Apple Silicon 128GB. Giải pháp này sử dụng các chuyên gia định tuyến 2-bit kết hợp với độ chính xác cao hơn cho các thành phần khác cùng với ma trận tầm quan trọng được cập nhật. Điều này cho phép phần cứng người dùng cao cấp chạy các mô hình Hỗn hợp Chuyên gia (MoE) quy mô tiên tiến cục bộ mà không cần hệ thống máy chủ lớn. Nó minh chứng cách quản lý bộ nhớ tiên tiến và lượng tử hóa tùy chỉnh có thể thu hẹp khoảng cách giữa các mô hình khổng lồ và phần cứng tiêu dùng. Phần lõi của mô hình có dung lượng lớn hơn 150GB một chút, cho phép truyền phát từ ổ SSD trong khi giữ các chuyên gia định tuyến trong bộ nhớ đệm nóng để đạt tốc độ lên tới 20 token mỗi giây trên M5 Max. Bảng engram khoảng 200GB được tải theo nhu cầu từ SSD thay vì lưu giữ toàn bộ trong RAM.
## KIẾN THỨC NỀN
Hỗn hợp Chuyên gia (MoE) là kiến trúc mạng nơ-ron trong đó chỉ một tập hợp con các nhánh hoặc 'chuyên gia' được kích hoạt cho mỗi đầu vào, giúp giảm chi phí tính toán. Lượng tử hóa làm giảm kích thước tệp mô hình bằng cách lưu trữ trọng số với ít bit hơn, trong khi ma trận tầm quan trọng (imatrix) giúp tối ưu hóa chất lượng lượng tử hóa bằng cách xác định trọng số nào quan trọng nhất.