InclusionAI Phát Hành Mô Hình Chuyên Khoa Y Tế Ling-3.0-flash-Sante
InclusionAI đã phát hành Ling-3.0-flash-Sante, một mô hình hỗn hợp chuyên gia (mixture-of-experts) chuyên biệt về y tế với tổng số 124 tỷ tham số và 5,1 tỷ tham số hoạt động cho mỗi token. Trọng số mô hình hiện đã có sẵn trên Hugging Face và ModelScope để phục vụ nghiên cứu và triển khai cục bộ. Bản phát hành này cung cấp cho các kỹ sư mô hình ngôn ngữ lớn cục bộ và nhà nghiên cứu y tế một mô hình mở chuyên ngành, được tối ưu hóa cho suy luận y tế phức tạp, nghiên cứu tài liệu và quy trình làm việc hỗ trợ bằng công cụ. Đây là một bước chuyển dịch hướng tới các bản phát hành chuyên sâu theo lĩnh vực thay vì chỉ cải thiện điểm số trên các bảng xếp hạng tổng quát. Sante sử dụng kiến trúc hỗn hợp chuyên gia tuyến tính kết hợp Kimi Delta Attention, gated MLA và các lớp MoE thưa, đồng thời hỗ trợ cửa sổ ngữ cảnh 256K token. Mô hình đi kèm khả năng suy luận gốc và gọi công cụ được bật theo mặc định, mặc dù chỉ dành riêng cho mục đích nghiên cứu chứ không phải thiết bị chẩn đoán y tế.
## KIẾN THỨC NỀN
Hỗn hợp chuyên gia (MoE) là một kiến trúc mạng nơ-ron trong đó nhiều mạng con song song hoặc các 'chuyên gia' được sử dụng, nhưng chỉ một tập hợp nhỏ trong số đó được kích hoạt cho mỗi token nhằm giảm chi phí tính toán. ModelScope là một nền tảng cộng đồng mô hình mã nguồn mở cung cấp các mô hình, tập dữ liệu và bản demo tương tác, tương tự như Hugging Face.