Tencent phát hành mô hình Hy-Memory-30B-A3B trên Hugging Face

Tencent đã phát hành mô hình Hy-Memory-30B-A3B trên Hugging Face, thu hút sự chú ý nhờ tập trung vào các khả năng bộ nhớ nâng cao. Mô hình này có 3 tỷ tham số hoạt động (active parameters), đây là một cấu hình đáng chú ý để xử lý các tác vụ về ngữ cảnh và bộ nhớ dài hạn. Khả năng xử lý bộ nhớ hiệu quả là một nút cổ chai quan trọng đối với các mô hình ngôn ngữ lớn, đặc biệt là khi duy trì ngữ cảnh mạch lạc trong các tương tác kéo dài. Việc giới thiệu một mô hình có khả năng bộ nhớ mạnh mẽ với lượng tham số hoạt động nhỏ hơn có thể mang lại lợi ích lớn cho việc triển khai AI cục bộ và sự cộng tác giữa các tác nhân (agent). Ký hiệu mô hình '30B-A3B' thường chỉ kiến trúc Hỗn hợp Chuyên gia (MoE) hoặc kích thước mô hình trong đó khoảng 3 tỷ tham số hoạt động trên mỗi token từ tổng số lượng tham số lớn hơn. Các cuộc thảo luận trong cộng đồng nhấn mạnh tuyên bố táo bạo của mô hình này về việc vượt qua các mô hình lớn hơn như Opus trong các bài kiểm tra chuẩn về bộ nhớ.