Ant Group phát hành trọng số mô hình Ling-3.0-Flash phục vụ thiết kế web bằng mã nguồn
Ant Group đã phát hành mã nguồn mở các trọng số theo giấy phép MIT cho Ling-3.0-flash, một mô hình Mixture-of-Experts (MoE) với 124 tỷ tham số. Mô hình này đã chứng minh khả năng tạo ra các trang web phức tạp, được định hình phong cách theo nhiều thẩm mỹ thiết kế khác nhau chỉ bằng mã nguồn như CSS gradient và đường dẫn SVG mà không cần dùng ảnh bên ngoài. Bản phát hành này cung cấp cho các nhà phát triển một mô hình cục bộ mạnh mẽ có khả năng tạo UI/UX độ trung thực cao, giảm sự phụ thuộc vào các tài nguyên hình ảnh bên ngoài. Tính chất mã nguồn mở và kiến trúc độc đáo của nó có thể thúc đẩy sự phát triển của các công cụ thiết kế web bằng AI. Mô hình chỉ kích hoạt 5,1 tỷ tham số cho mỗi token (kích hoạt 1/64 chuyên gia) và sở hữu cơ chế chú ý tuyến tính lai (hybrid-linear attention) xếp chồng các lớp KDA và MLA. Các trọng số lượng tử hóa FP8 chính thức yêu cầu dung lượng lưu trữ khoảng 128GB và hỗ trợ cửa sổ ngữ cảnh gốc 256K.
## KIẾN THỨC NỀN
Kiến trúc Mixture-of-Experts (MoE) định tuyến các đầu vào đến các mạng con chuyên biệt cụ thể ("chuyên gia"), cho phép các mô hình lớn chạy hiệu quả bằng cách chỉ kích hoạt một phần nhỏ tổng số tham số cho mỗi token. Việc tạo ra các bố cục trực quan hoàn toàn thông qua mã nguồn (CSS, SVG và kiểu chữ) đòi hỏi mô hình phải có hiểu biết sâu sắc về không gian và thẩm mỹ để chuyển đổi mã nguồn thành kết quả hiển thị trực quan.