Runtime NPU RK3588 mã nguồn mở vượt trội hơn SDK chính hãng
Một lập trình viên đã xây dựng công cụ suy luận LLM cục bộ mã nguồn mở mang tên open_rknpu2_lm_infer cho NPU Rockchip RK3588, được viết bằng Rust và C++ mà không cần các thư viện không gian người dùng độc quyền. Công cụ này đạt tốc độ khoảng 10 token/giây đối với mô hình Qwen3.5-4B, nhanh hơn gấp đôi so với SDK RKLLM chính thức. Bằng cách bỏ qua các SDK hộp đen từ nhà sản xuất, dự án này mang lại sự minh bạch hoàn toàn và hiệu năng cao hơn đáng kể khi chạy các mô hình ngôn ngữ lớn trên phần cứng biên. Điều này trao quyền cho các nhà lập trình tùy chỉnh, sửa đổi và tối ưu hóa quá trình thực thi NPU cấp thấp cho các máy tính đơn bo giá rẻ. Runtime này hỗ trợ các tính năng tiên tiến như giải mã dự đoán MTP, lưu trữ bộ nhớ đệm tiền tố (prefix caching), gọi công cụ và đầu vào hình ảnh đa phương thức, kèm theo các checkpoint đã được kiểm chứng cho các mô hình như Qwen3.5-4B và MiniCPM5-2B. Các bài kiểm tra hiệu năng cho thấy tốc độ prefill đạt tới gần 148 token/giây và tốc độ giải mã khoảng 10 token/giây.
## KIẾN THỨC NỀN
Rockchip RK3588 là một hệ thống trên một vi mạch (SoC) dựa trên kiến trúc ARM phổ biến, có hiệu năng cao và tích hợp bộ xử lý thần kinh (NPU) được thiết kế cho các tác vụ AI tại biên. Các kỹ thuật giải mã dự đoán như Dự đoán đa token (MTP) giúp tăng tốc quá trình suy luận bằng cách tạo ra nhiều token ứng viên cùng lúc, trong khi tính năng lưu trữ tiền tố giúp tránh lặp lại các phép tính dư thừa cho các cấu trúc prompt lặp lại.