IQuest Ra Mắt IQuest-Q1: Mô Hình MoE 320B Tham Số Cho Lập Trình Tự Động
IQuest đã phát hành IQuest-Q1, một mô hình ngôn ngữ Mixture-of-Experts (MoE) trọng số mở được thiết kế cho lập trình tự động (agentic coding), suy luận đa bước và sử dụng công cụ. Mô hình sở hữu khoảng 320 tỷ tổng số tham số, trong đó 15 tỷ tham số được kích hoạt cho mỗi token trong quá trình suy luận. Bằng cách tận dụng kiến trúc MoE, IQuest-Q1 mang lại hiệu suất suy luận của một mô hình khổng lồ trong khi vẫn duy trì hiệu quả tính toán của một mô hình 15B nhỏ hơn nhiều. Điều này mang đến cho các nhà phát triển AI mã nguồn mở một mô hình nền tảng mạnh mẽ cho các tác tử kỹ thuật phần mềm phức tạp và quy trình làm việc tự động. Mô hình chỉ kích hoạt khoảng 4,7% tổng số tham số cho mỗi token, giúp tối ưu hóa tốc độ tạo phản hồi và hiệu quả tài nguyên phần cứng. Nó được chuyên môn hóa cho việc thực thi công cụ đa bước, suy luận logic phức tạp và tổng hợp mã nguồn tự động.
## KIẾN THỨC NỀN
Kiến trúc Mixture-of-Experts (MoE) mở rộng quy mô các mô hình ngôn ngữ lớn một cách hiệu quả bằng cách định tuyến từng token đầu vào đến một nhóm nhỏ các mạng con chuyên gia thay vì tính toán qua toàn bộ tham số. Lập trình tự động (agentic coding) là phương pháp phát triển phần mềm mà ở đó các tác tử AI tự động lập kế hoạch, viết, thực thi và kiểm thử mã nguồn bằng cách sử dụng các công cụ bên ngoài với sự giám sát tối thiểu của con người.