iFLYTEK mở nguồn hai mô hình LLM Spark X2.5 cho thiết bị đầu cuối với ngữ cảnh 1 triệu token
iFLYTEK đã chính thức mở mã nguồn hai mô hình ngôn ngữ lớn Spark X2.5-4B và X2.5-1.7B dành cho thiết bị đầu cuối (edge), trở thành các mô hình nhỏ duy nhất hiện nay hỗ trợ nguyên bản cửa sổ ngữ cảnh lên tới 1 triệu token. Được huấn luyện trên khoảng 20 nghìn tỷ token dữ liệu bằng hạ tầng phần cứng nội địa Trung Quốc, trọng số của hai mô hình hiện đã được phát hành miễn phí trên Hugging Face và GitHub. Việc đưa khả năng xử lý ngữ cảnh 1 triệu token xuống các mô hình kích thước nhỏ (1,7B và 4B tham số) cho phép thiết bị AI chạy cục bộ xử lý các tài liệu dài và lịch sử tương tác phức tạp mà không cần gửi dữ liệu về máy chủ đám mây. Điều này nâng cao đáng kể tính riêng tư, giảm độ trễ và mở ra nhiều ứng dụng thực tế cho thiết bị nhà thông minh, robot và tác vụ văn phòng cá nhân. Các mô hình này sử dụng kiến trúc chú ý hỗn hợp (hybrid attention) được tối ưu hóa cho tác vụ agent, lập trình, toán học và tuân thủ chỉ thị, trong đó phiên bản 1.7B đạt độ chính xác 90,3% với thời gian phản hồi trung bình 0,85 giây trên bộ kiểm thử nhà thông minh Domux. Chúng hỗ trợ triển khai cục bộ thông qua các framework phổ biến như llama.cpp, vLLM và SGLang trên nhiều nền tảng phần cứng bao gồm NVIDIA, Huawei, Hải Quang (Hygon) và Hậu Ma (Moore Threads).
## KIẾN THỨC NỀN
Mô hình ngôn ngữ lớn cho thiết bị đầu cuối (Edge LLM) là các mô hình AI nhỏ gọn được thiết kế để vận hành trực tiếp trên thiết bị cá nhân hoặc thiết bị biên hạn chế tài nguyên thay vì phụ thuộc vào máy chủ đám mây. Cửa sổ ngữ cảnh (context window) xác định lượng thông tin đầu vào mà mô hình có thể ghi nhớ cùng lúc, và việc mở rộng nó thường tiêu tốn rất nhiều dung lượng bộ nhớ. Kiến trúc chú ý hỗn hợp (hybrid attention) kết hợp giữa chú ý toàn cục truyền thống và các cơ chế chú ý cục bộ nhằm giúp mô hình xử lý hiệu quả ngữ cảnh cực lớn trên các chip máy tính nhỏ.