Artificial Analysis và Liquid AI ra mắt công cụ đo hiệu năng AI di động cho iPhone 17 Pro
Artificial Analysis đã hợp tác với Liquid AI để ra mắt một công cụ đo hiệu năng (benchmark) AI di động mới, đánh giá các mô hình chạy cục bộ dưới 8GB trên iPhone 17 Pro. Trong các thử nghiệm giới hạn ngữ cảnh 16K token, Nanbeige4.2-3B và LFM2.5-2.6B là những mô hình đạt điểm trung bình cao nhất. Công cụ đo hiệu năng này cung cấp một phương pháp chuẩn hóa để đánh giá năng lực của các mô hình ngôn ngữ nhỏ (SLM) trên thiết bị biên, điều cực kỳ quan trọng khi các công ty công nghệ đang thúc đẩy xử lý AI cục bộ và riêng tư. Nó cho thấy các kiến trúc thay thế có thể cạnh tranh sòng phẳng với các mô hình truyền thống trong khi vẫn duy trì dung lượng bộ nhớ nhỏ hơn. Quá trình đánh giá sử dụng năm bài kiểm tra bao gồm BFCL, IFBench, AA-Omniscience, GPQA Diamond và MATH-500 trên các mô hình được lượng tử hóa 4-bit. Nanbeige4.2-3B đạt hiệu năng cao nhờ sử dụng kiến trúc Looped Transformer, giúp tái sử dụng các lớp Transformer để tăng chiều sâu tính toán mà không cần thêm tham số.
## KIẾN THỨC NỀN
Looped Transformer là các kiến trúc tuần hoàn áp dụng lặp đi lặp lại cùng một khối transformer lên một chuỗi, mô phỏng độ sâu của các mạng lớn hơn với ít tham số hơn. Liquid Foundation Models (LFM) là một dòng mô hình AI tạo sinh hiệu quả cao do Liquid AI phát triển, được tối ưu hóa cho việc triển khai trên thiết bị biên và thiết bị di động có bộ nhớ thấp. Nanbeige LLM Lab là bộ phận nghiên cứu AI của BOSS Zhipin, một nền tảng tuyển dụng trực tuyến lớn của Trung Quốc.