Phát Hành Mô Hình Ngôn Ngữ Nhỏ Mã Nguồn Mở Spark-X2.5 Hỗ Trợ Ngữ Cảnh 1M Token
SparkLLM đã phát hành Spark-X2.5-1.7B và Spark-X2.5-4B, dòng mô hình ngôn ngữ nhỏ mã nguồn mở mới được xây dựng trên một kiến trúc tùy chỉnh. Dù có số lượng tham số nhỏ, các mô hình này hỗ trợ nguyên bản cửa sổ ngữ cảnh lên tới 1 triệu token và đạt hiệu suất bài kiểm tra đánh giá cạnh tranh với các mô hình lớn hơn nhiều. Các mô hình này cho phép xử lý ngữ cảnh dài trực tiếp trên thiết bị cá nhân mà không cần băng thông bộ nhớ khổng lồ hay hạ tầng đám mây đắt đỏ. Spark-X2.5-4B đạt hiệu suất tương đương với các mô hình 9 tỷ tham số như Qwen trong khi chiếm ít dung lượng phần cứng hơn đáng kể. Các trọng số lượng hóa GGUF đã có sẵn trên Hugging Face, dù việc chạy cục bộ hiện yêu cầu một bản fork tùy chỉnh của llama.cpp trong khi chờ đóng góp mã nguồn (PR #27868) được chấp nhận. Kiến trúc này được tiền huấn luyện trên hàng trăm tỷ token tài liệu dài để duy trì độ ổn định trên chiều dài ngữ cảnh 1M token.
## KIẾN THỨC NỀN
llama.cpp là một công cụ C/C++ mã nguồn mở phổ biến được thiết kế để chạy các mô hình ngôn ngữ cục bộ bằng tệp nhị phân GGUF giúp tối ưu hóa dung lượng bộ nhớ và thời gian tải. Khi một mô hình mới sử dụng kiến trúc tùy chỉnh thay vì dạng Transformer tiêu chuẩn, các công cụ suy luận phải lập trình hỗ trợ riêng cho các lớp mới trước khi có thể chạy mô hình một cách nguyên bản.