Khám phá giới hạn kích thước tối thiểu cho các mô hình ngôn ngữ lớn dưới 10 triệu tham số
Một nhà phát triển đã thực hiện thử nghiệm đánh giá các mô hình ngôn ngữ cực nhỏ có dưới 10 triệu tham số, cụ thể là kiểm tra các mô hình như Supra-Mini-v6-1M, nhằm xác định xem chúng có thể tạo ra văn bản tiếng Anh mạch lạc hay không. Việc hiểu rõ giới hạn dưới về kích thước mô hình giúp các nhà phát triển khám phá các giải pháp AI cực kỳ nhẹ, có thể chạy mượt mà trên phần cứng CPU thông thường cho các ứng dụng Edge AI. Các thử nghiệm ban đầu trên các mô hình như Supra-Mini-v6-1M cho thấy chất lượng đầu ra suy giảm nghiêm trọng, trông giống các mã thông báo ngẫu nhiên hơn là tiếng Anh có ngữ pháp, qua đó làm nổi bật giới hạn nghiêm ngặt của các mô hình quy mô vi mô.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ nhỏ (SLM) là hệ thống trí tuệ nhân tạo nhỏ gọn được thiết kế để xử lý ngôn ngữ tự nhiên trên các thiết bị bị hạn chế tài nguyên, thường sử dụng các kiến trúc được thu nhỏ từ các mô hình lớn hơn. Trong khi các mô hình ngôn ngữ lớn chứa hàng tỷ tham số để mã hóa lượng thông tin khổng lồ, các mô hình cực nhỏ dưới 10 triệu tham số lại gặp khó khăn trong việc tổng quát hóa và duy trì tính mạch lạc theo ngữ cảnh.