Mô hình nhỏ 577M đạt vị trí số 1 trên bảng xếp hạng âm thanh mà không cần huấn luyện

Bằng cách thêm một đầu phân tích thành phần chính (PCA) nhẹ, dung lượng 2.4 MB không qua tinh chỉnh lấy từ các lớp trước đó, một nhà phát triển đã đưa mô hình EmbeddingGemma-2 577M thông số từ hạng #26 lên hạng #1 trên bảng xếp hạng MTEB Audio (MAEB). Cải tiến không cần huấn luyện này đã nâng điểm số chuyên về âm thanh từ 49.3% lên 54.4%, vượt qua cả các mô hình đa phương thức 8B-9B lớn hơn rất nhiều. Bước đột phá này chứng minh một phương pháp hiệu quả về tài nguyên và thông minh nhằm cải thiện đáng kể hiệu suất mô hình trên các tiêu chuẩn cạnh tranh mà không cần huấn luyện lại, giúp các kỹ thuật biểu diễn âm thanh nâng cao trở nên khả thi cho trí tuệ nhân tạo biên và thiết bị cục bộ. Nó làm nổi bật lượng tín hiệu âm thanh chưa được khai thác vẫn còn ẩn giấu bên trong các lớp trung gian của các mô hình ngôn ngữ và đa phương thức hiện đại. Kỹ thuật này hoạt động bằng cách trích xuất các đặc trưng âm học từ Lớp 2 và Lớp 6 — nơi vẫn giữ lại các đặc điểm về người nói và cao độ vốn đã bị loại bỏ ở các lớp cuối — rồi nén chúng thông qua PCA vào 256 chiều chưa sử dụng trong không gian véc-tơ 768 chiều của mô hình. Tuy nhiên, vì không có quá trình huấn luyện lại, cách tiếp cận này ngăn cản việc cắt ngắn chiều Matryoshka và làm giảm nhẹ hiệu suất trên các tác vụ thuần túy về ý định lời nói như MInDS14.