Đánh giá so sánh các mô hình MoE nhỏ trong hệ thống tác vụ lập trình song song
Một lập trình viên đã thử nghiệm ba mô hình Mixture-of-Experts nhỏ mới phát hành gồm Flint 40B-A2.5B, Ornith 1.5 35B-A3B và Nemotron 3.5 Lightning bằng cách sử dụng quy trình tác vụ lập trình song song trong Three.js. Flint chứng tỏ là mô hình hiệu quả nhất khi đạt thời gian thực thi ngắn nhất, ít lỗi sửa nhất và chi phí API thấp nhất dù không sở hữu tốc độ thô cao nhất. Đánh giá này nhấn mạnh rằng hiệu suất tốc độ token trên giây thô không quyết định tổng thể hiệu quả trong các quy trình tác vụ phức tạp, nơi tỷ lệ thành công khi chỉnh sửa và khả năng phục hồi lỗi đóng vai trò lớn hơn. Nó minh họa cách lựa chọn mô hình chạy cục bộ quyết định trực tiếp chi phí và mức tiêu thụ của các API điều phối như Opus 5.5. Thử nghiệm sử dụng định dạng lượng tử hóa Q8_0 GGUF trên card RTX PRO 6000 Blackwell 96 GB thông qua llama.cpp, thực hiện một tác vụ Three.js phức tạp từ 1.000 đến 1.700 dòng với ba tiến trình làm việc song song. Nemotron gặp tỷ lệ chỉnh sửa thành công thấp khoảng 17%, liên tục không tìm thấy chuỗi cũ và tích lũy các dấu ngoặc nhọn thừa.
## KIẾN THỨC NỀN
Mixture-of-Experts (MoE) là một kiến trúc transformer trong đó chỉ một tập hợp con các tham số mạng (các chuyên gia) được kích hoạt cho mỗi token, giúp đạt tốc độ suy luận cao trong khi vẫn duy trì dung lượng mô hình lớn. GGUF là định dạng tệp nhị phân được thiết kế để lưu trữ các mô hình ngôn ngữ lớn đã lượng tử hóa nhằm chạy hiệu quả trên phần cứng thông qua các công cụ như llama.cpp, trong khi Three.js là thư viện JavaScript đa trình duyệt dùng để tạo đồ họa 3D động. Atomic Agent là một khung mã nguồn mở được sử dụng để điều phối quy trình làm việc đa tác nhân.