Cộng đồng r/LocalLLaMA thảo luận về việc lưu trữ các mô hình AI mã nguồn mở giá trị từ 2024–2025

Một người dùng trên r/LocalLLaMA đã kêu gọi cộng đồng đề xuất các mô hình AI mở trọng số từ năm 2024 và 2025, chẳng hạn như DeepSeek-R1, vẫn còn đủ giá trị để lưu trữ cục bộ. Bài viết nhấn mạnh sự chuyển dịch nhanh chóng sang kiến trúc Mixture of Experts (MoE) đang khiến nhiều mô hình dày (dense models) cũ trở nên lỗi thời. Khi các mô hình AI phát triển nhanh chóng, những người yêu thích tự vận hành AI phải quyết định xem mô hình mở trọng số nào đáng giữ lại cho mục đích bảo mật, sử dụng ngoại tuyến hoặc các tính năng độc đáo. Điều này phản ánh cuộc thảo luận rộng hơn trong hệ sinh thái về quản lý lưu trữ và tuổi thọ của mô hình trên phần cứng cục bộ. Người đăng bài cho biết họ có 28TB dung lượng lưu trữ cục bộ, cho phép lưu các mô hình có tham số lớn thay vì phải phụ thuộc vào bản định lượng (quantization) mức quá thấp. Các ví dụ tiêu biểu được đề cập bao gồm các mô hình suy luận nổi bật như DeepSeek-R1 vẫn duy trì được tính hữu dụng bất chấp sự xuất hiện của các phiên bản mới hơn.