IBM Phát Hành Các Mô Hình LLM Mô-đun Granite Switch 4.1 30B và 8B
IBM đã phát hành Granite Switch 4.1 30B và 8B, các mô hình ngôn ngữ lớn dạng mô-đun tích hợp trò chuyện ngôn ngữ tự nhiên, bộ chuyển đổi quyết định chuyên biệt và tính năng chuyển đổi giọng nói thành văn bản nhúng vào một điểm cuối duy nhất. Các tính năng này được kích hoạt theo yêu cầu thông qua các mã điều khiển trong mẫu trò chuyện. Kiến trúc mô-đun này giúp đơn giản hóa việc triển khai bằng cách kết hợp các khả năng đa phương thức, ra quyết định và tạo văn bản thành một mô hình điểm cuối duy nhất. Nó cho phép các nhà phát triển xây dựng các ứng dụng AI linh hoạt, phức tạp mà không cần quản lý các dịch vụ riêng biệt cho việc phiên âm và suy luận. Mô hình 30B sử dụng nền tảng 30 tỷ tham số với cửa sổ ngữ cảnh 128K, kết hợp các bộ điều hợp quyết định aLoRA và một bộ mã hóa chuyển đổi giọng nói thành văn bản tiếng Anh 470 triệu tham số được nhúng sẵn. Cả hai mô hình đều được phát hành theo giấy phép Apache 2.0 và hỗ trợ các hệ thống phụ trợ như HuggingFace Transformers và vLLM.
## KIẾN THỨC NỀN
Các mô hình LLM mô-đun sử dụng các kỹ thuật như Thích ứng hạng thấp (LoRA) hoặc LoRA được kích hoạt (aLoRA) để bật động các thành phần phụ hoặc bộ điều hợp cụ thể trong quá trình thực thi mà không cần tải lại toàn bộ mạng. Phân loại thời gian kết nối (CTC) là một hàm mất mát được sử dụng trong các mô hình nhận dạng giọng nói như TurboCTC để cho phép phiên âm âm thanh nhanh chóng và chính xác mà không cần căn chỉnh.