Nhà phát triển ra mắt 'Museum of Models' để lưu trữ và so sánh 371 mô hình LLM

Nhà phát triển /u/sirjoaco đã ra mắt Museum of Models (museumofmodels.com), một công cụ web miễn phí lưu trữ kết quả của các câu lệnh chuẩn hóa trên 371 phiên bản mô hình LLM từ tháng 5 năm 2024. Kho lưu trữ này bao gồm cả dữ liệu phản hồi lịch sử của 93 mô hình đã ngừng hoạt động và không còn khả năng truy cập để thử nghiệm. Khi các nhà cung cấp AI thường xuyên ngừng hỗ trợ các API cũ hoặc âm thầm cập nhật trọng số mô hình, việc tái lập thử nghiệm và so sánh lịch sử trở nên rất khó khăn. Kho lưu trữ này cung cấp cho các nhà nghiên cứu một mốc cơ sở để phân tích sự thay đổi mô hình và tiến hóa định tính theo thời gian. Tất cả kết quả mô hình đều được tạo dưới điều kiện thử nghiệm đồng nhất: chạy thử nghiệm một lượt (one-shot), không dùng câu lệnh hệ thống (system prompt) và đặt cố định tham số nhiệt độ (temperature) ở mức 0.7. Nền tảng hoàn toàn không yêu cầu đăng ký và hỗ trợ cả mô hình open-weights lẫn các LLM thương mại đã ngưng hoạt động.