Lập trình viên biên dịch NPU và chạy mô hình Stories260k bên trong trọng số LLM Qwen
Một lập trình viên đã xây dựng thành công QwenPU, một NPU tùy chỉnh được biên dịch trực tiếp bên trong trọng số của mô hình ngôn ngữ lớn Qwen 3.5-4B. Thiết lập này cho phép mô hình ngôn ngữ stories260k của Andrej Karpathy chạy một cách nguyên bản bằng bộ nhớ và tài nguyên nội bộ của Qwen mà không cần công cụ bên ngoài nào. Thành tựu kỹ thuật sáng tạo này đẩy lùi ranh giới của điện toán trong ngữ cảnh và khả năng của mô hình bằng cách chứng minh rằng logic thực thi mạng thần kinh phức tạp có thể được nhúng trực tiếp vào trọng số mô hình. Điều này mở ra những khả năng mới mẻ cho việc chạy các kiến trúc AI lồng nhau và các mô hình thực thi cục bộ trong một LLM duy nhất. Mô hình stories260k hoạt động như một chương trình C trong đó các phép nhân ma trận, softmax và cơ chế chú ý được thực thi chính xác từng bit bởi NPU đã biên dịch. Toàn bộ quá trình thực thi phụ thuộc hoàn toàn vào không gian bộ nhớ nội bộ của Qwen, với các nỗ lực tối ưu hóa đang diễn ra tập trung vào việc giảm kích thước và cải thiện tốc độ thực thi.
## KIẾN THỨC NỀN
Mô hình ngôn ngữ lớn là các hệ thống học máy tiên tiến được huấn luyện trên các tập dữ liệu khổng lồ để xử lý và tạo văn bản bằng cách dự đoán các token tiếp theo. Dựa trên các thí nghiệm trước đây từng nhúng một CPU RISC-V vào trọng số Qwen bằng cách sử dụng các cơ chế trạng thái làm RAM, dự án này mở rộng khái niệm đó để mô phỏng một đơn vị xử lý thần kinh chuyên dụng.