Người dùng chạy mô hình AI Kimi K3 2.8 nghìn tỷ tham số bằng Intel Optane
Một người dùng công nghệ đã chạy thành công mô hình AI Kimi K3 với 2.8 nghìn tỷ tham số trên hệ thống chỉ dùng CPU, kết hợp bộ nhớ bền vững Intel Optane đã ngừng sản xuất và phần mềm llama.cpp. Thí nghiệm đạt tốc độ suy luận từ 0.75 đến 1.5 từ mỗi giây tùy thuộc vào cấu hình và mức độ lượng tử hóa. Thủ thuật phần cứng sáng tạo này chứng minh rằng các mô hình ngôn ngữ lớn khổng lồ có thể được chạy cục bộ mà không cần GPU doanh nghiệp đắt đỏ bằng cách tận dụng bộ nhớ máy chủ dung lượng cao, giá rẻ đã ngừng sản xuất. Điều này mở ra phương pháp thực tế để tái sử dụng phần cứng cũ nhằm xử lý các tác vụ trí tuệ nhân tạo hiện đại trong môi trường phòng thí nghiệm tại nhà. Thiết lập này sử dụng bộ vi xử lý Intel Xeon Scalable thế hệ thứ 3 có 40 nhân kết hợp với bộ nhớ bền vững Intel Optane series 200 hoạt động ở chế độ App Direct. Việc vô hiệu hóa truy cập trực tiếp (DAX) để tận dụng bộ nhớ đệm DRAM đã giúp cải thiện tốc độ tạo từ ban đầu từ 0.85 lên 1.50 từ mỗi giây khi sử dụng lượng tử hóa 1-bit.
## KIẾN THỨC NỀN
Bộ nhớ bền vững Intel Optane là công nghệ bộ nhớ không bay hơi dựa trên 3D Xpoint, được cắm vào các khe cắm DIMM máy chủ tiêu chuẩn để thu hẹp khoảng cách giữa DRAM dễ bay hơi truyền thống và ổ SSD hiệu suất cao. Trong khi đó, llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để thực hiện suy luận mô hình ngôn ngữ lớn hiệu quả trên phần cứng CPU thông thường.