Ricursive Intelligence Ra Mắt Mô Hình Mật Độ Cao Ripple-65B-Preview
Ricursive Intelligence đã phát hành Ripple-65B-Preview, một mô hình trọng lượng mở dạng mật độ cao mới với 65 tỷ tham số và sở hữu kiến trúc mỏng và sâu. Phiên bản xem trước này đã trải qua quá trình hậu huấn luyện nhẹ với trọng tâm chính là khả năng lập trình tác tử. Sản phẩm này lấp đầy khoảng trống lâu nay trong cộng đồng mã nguồn mở về một mô hình mật độ cao khoảng 70B mới có khả năng cạnh tranh với các mô hình lớn hơn nhiều. Nó cung cấp cho các nhà nghiên cứu và lập trình viên một công cụ mạnh mẽ, linh hoạt để triển khai cục bộ và tùy chỉnh thêm. Mô hình sử dụng tỷ lệ khung hình "mỏng và sâu" gồm 80 lớp nhân 5120 chiều, tỷ lệ cửa sổ trượt trên chú ý toàn cục 4:1, cắt hàm kích hoạt FFN, chú ý có cổng, NoPE toàn cục và phần dư giá trị. Các định dạng GGUF đã có sẵn thông qua AtomicChat cùng với một bản vá llama.cpp tùy chỉnh để chạy cục bộ.
## KIẾN THỨC NỀN
Mô hình mật độ cao lưu trữ và kích hoạt toàn bộ các tham số của chúng cho mỗi token được tạo ra, không giống như các mô hình hỗn hợp chuyên gia (MoE) vốn định tuyến token qua một tập hợp con các tham số. Các mô hình trọng lượng mở cho phép người dùng trong cộng đồng kiểm tra, chạy và tinh chỉnh các tham số mô hình ngay trên phần cứng của riêng họ.