Cộng đồng LLM mã nguồn mở ca ngợi những tiến bộ toàn cầu nhanh chóng
Một người dùng Reddit đã chia sẻ sự kinh ngạc trước sự tiến bộ nhanh chóng của các mô hình ngôn ngữ lớn (LLM) mã nguồn mở chạy cục bộ, làm nổi bật các mô hình gần đây như Raon-1-mini 30B A4B và Flint 40B A2.5B. Họ lưu ý rằng các công cụ này đã trở nên dễ tiếp cận và mạnh mẽ như thế nào đối với người dùng hàng ngày. Điều này phản ánh sự nhiệt tình ngày càng tăng trong cộng đồng AI cục bộ về hợp tác toàn cầu và sự dân chủ hóa công nghệ trí tuệ nhân tạo tiên tiến. Nó làm nổi bật cách các nhà phát triển trên toàn thế giới đóng góp các tùy chọn mã nguồn mở đa dạng có thể cạnh tranh với các hệ thống độc quyền. Người dùng đã nhắc cụ thể đến việc dùng thử các mô hình như Raon-1-mini 30B A4B, một mô hình Hỗn hợp chuyên gia (Mixture-of-Experts) tổng số 30B/hoạt động 4B được phát triển hoàn toàn từ đầu bởi KRAFTON AI. Các mô hình này cho phép người dùng chạy các tác nhân trò chuyện phức tạp trực tiếp trên phần cứng cục bộ.
## KIẾN THỨC NỀN
LLM cục bộ là các mô hình ngôn ngữ lớn mà người dùng có thể tải xuống và chạy trên máy tính cá nhân hoặc máy chủ cục bộ của riêng họ thay vì phụ thuộc vào các API đám mây. Mixture-of-Experts (MoE) là một kiến trúc trong đó chỉ một tập hợp con các tham số mạng (tham số hoạt động) được sử dụng cho bất kỳ mã thông báo nào, cho phép suy luận hiệu quả trong khi vẫn duy trì dung lượng mô hình tổng thể lớn.