Tại sao các mô hình AI trọng số mở dưới 15B ngày càng trở nên hiếm hoi?

Một cuộc thảo luận trên các nền tảng trực tuyến nhấn mạnh rằng các phòng thí nghiệm AI tiên tiến phần lớn đã chuyển trọng tâm khỏi việc phát hành các mô hình trọng số mở đạt trạng thái tối tân có quy mô dưới 15 tỷ tham số. Thay vào đó, các phòng thí nghiệm dường như đã thống nhất mức kích thước tối thiểu trong khoảng 24 đến 27 tỷ tham số cho các dòng mô hình nhỏ của họ. Xu hướng này làm nổi bật việc ngành công nghiệp đang ưu tiên các năng lực đến từ quy mô lớn hơn là hiệu suất trên thiết bị biên mà các mô hình nhỏ mang lại. Các nhà phát triển và người dùng phụ thuộc vào phần cứng cục bộ với các giới hạn tài nguyên nghiêm ngặt có thể sẽ thấy ngày càng ít các lựa chọn hiệu suất cao. Các thành viên trong cộng đồng đã quan sát thấy một khoảng trống rõ rệt khi các tiến bộ kiến trúc hiện đại và kỹ thuật huấn luyện hiếm khi được áp dụng cho các mô hình dưới 14B. Điều này khiến người dùng tự hỏi khi nào mô hình đột phá tiếp theo trong lớp trọng số nhỏ hơn sẽ xuất hiện từ các phòng thí nghiệm nghiên cứu hàng đầu.