Người dùng báo cáo hiệu suất kém của Muse Glimmer từ Meta trong thử nghiệm lập trình

Một người dùng Reddit đã chia sẻ thử nghiệm ban đầu về mô hình Muse Glimmer 30B mới ra mắt của Meta, lưu ý rằng nó hoạt động kém trong tác vụ tạo trò chơi bằng một file HTML duy nhất so với các mô hình Qwen. Mô hình này được cho là đã tiêu tốn 21.000 token nhưng chỉ tạo ra 220 dòng mã HTML chưa hoàn chỉnh. Meta đã thiết kế Muse Glimmer dưới dạng một mô hình tác nhân (agentic model) trọng số mở được tối ưu hóa để chạy cục bộ trên máy tính xách tay cá nhân, khiến khả năng lập trình và suy luận thực tế của nó rất được cộng đồng LLM cục bộ mong đợi. Những phản hồi sớm của người dùng nêu bật các vấn đề về hiệu suất trong các tác vụ lập trình cơ bản có thể làm giảm bớt kỳ vọng về tính hữu dụng thực tế của nó. Muse Glimmer là một mô hình 30 tỷ tham số được chưng cất từ Muse Spark 1.2 của Meta, tích hợp một bộ mã hóa nhận thức (perception encoder) chuyên dụng cho các tác vụ tác nhân tự trị. Trong thử nghiệm được báo cáo, mô hình đã thất bại trong việc hoàn thành trò chơi bi-a 8 bóng mặc dù đã sử dụng một phần lớn cửa sổ ngữ cảnh (context window) của nó.